powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы [новые:1] / Просто Трёп [закрыт для гостей] [новые:1] / Дедокластер Z, Поиск: Искать сообщения, созданные автором: megabyte  
25 сообщений из 37, страница 1 из 2
Просто Трёп / Дедокластер Z
    #719871
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  10.02.2024, 20:47
[игнорируется]
Вы думаете я забыл? Нет!

Сегодня обсуждался вопрос организации отказоустойчивого кластера Дедофорума. Скоро должны смонтировать оборудование, приступлю к развёртыванию, погоняю.

Планируемые вычислительные ресурсы:
- 2 узла
- 24 ядра
- 144 гб озу
- примерно 6 тб полезного дискового пространства в 5 рейде с хот спаре
- рейд контроллеры с батарейкой
- 10 гбит/с между узлами для миграции ВМ
- 200 мб/с канал в инет
Куясе ресурсы для какого-то сраного форума...
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719875
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  10.02.2024, 22:38
[игнорируется]
basename  10.02.2024, 20:49
[игнорируется]
В целом по работам все понятно. Пока не знаю, только, как сделать схему primary standby с автопереключением для СУБД.
Вот по этому вопросу, у кого-нибудь есть железобетонно рабочий пример схемы для MySQL, primary-standby, когда, standby мгновенно превращается в primary, при отказе, и репликация обратно? Или руками переключать только?

Погуглил примеры, в подобной реализации слишком большое усложнение и этих ресурсов тоже не хватит уже.

Вообще, хотелось бы на один писать, с другого читать. Но тоже усложнение. Пока думаю схему с переключением.

Хз, как добиться отказоустойчивость для Субд в случае 2-х узлов.

Ну, то есть, надо не сильно усложнять, чтобы при необходимости можно было съехать обратно на хостинг, как сейчас, но и использовать ресурсы для, так сказать, зеркалирования.

Например, обновляю гипервизор. Машины с одного отправил на другой, обновил первый, потом отправил со второго на первый, обновил второй, потом снова разогнал машины по двум. Вы ничего не заметили вообще.

С обновлением самих машин уже посложнее, но мне знакомо хорошо Но непонятки с субд. Если я обновляю primary - это даунтайм. нужно легким движением пальца пнуть MySQL, чтобы переключился primary в standby и переключился накат логов обратно. Чтобы вы опять ничего не заметили.
Для master-master и автопереключения Galera cluster есть. Но там 3 ноды надо для кворума. Подумай, надо ли оно тебе. Руками переключить проще будет при обычной репликации.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719876
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  10.02.2024, 23:04
[игнорируется]
Горбатый ёж  10.02.2024, 23:00
[игнорируется]
basename [игнорируется] 

Я почитаю что там в майскуле делают, но я не дба.
Репликация понятно, дело не сложное, но смысл в ней, если нет автоматизированной схемы переключения в случае аварии.
Смысл в отказоустойчивости.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719881
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  11.02.2024, 08:05
[игнорируется]
megabyte  11.02.2024, 08:01
[игнорируется]
basename  10.02.2024, 23:04
[игнорируется]
Горбатый ёж  10.02.2024, 23:00
[игнорируется]
basename [игнорируется] 

Я почитаю что там в майскуле делают, но я не дба.
Репликация понятно, дело не сложное, но смысл в ней, если нет автоматизированной схемы переключения в случае аварии.
Смысл в отказоустойчивости.
Руками переключать?
Да, в подавляющем большинстве случаев именно такая схема в большинстве СУБД: полуавтомат. Одной командой переключаешь мастер-реплика.
А с автофейловером - он ведь может и не отработать корректно.
Обычная репликация проще, поэтому надежнее.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719909
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  11.02.2024, 08:40
[игнорируется]
megabyte [игнорируется] 

А что скажешь по поводу конфигурации split read/write?

Физически, master и slave я размещу на разных серверах. Было бы хорошо, если бы читали с реплики, а писали в мастер.
Так это как раз проблема master-master. А если реплика readonly, но никаких проблем не должно быть, кроме отставания данных по репликации. Лаг репликации надо мониторить.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #720135
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
Кусь  11.02.2024, 14:22
[игнорируется]
basename  11.02.2024, 08:40
[игнорируется]
А что скажешь по поводу конфигурации split read/write?
Реплика может отставать от мастера. И у тебя же не adhoc запросы и не BI система с репортингом. Зачем эти танцы с бубном?
MySQL позволяет делать горячие бекапы? Тогда делай их регулярно, в случае аварии всегда восстановишься. И не надо тебе поднимать реплику, да ещё и постоянно мониторить её лаг. Лучше бекап сделай, небольшой простой форума тебе не критичен, здесь и так при каждом патче всё замирает до рассвета. :)))
Не соглашусь. Бэкапы для другого. Нет большой сложности запустить обычную мастер-слейв репликацию.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #720138
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  11.02.2024, 14:41
[игнорируется]
Кусь  11.02.2024, 14:22
[игнорируется]
basename  11.02.2024, 08:40
[игнорируется]
А что скажешь по поводу конфигурации split read/write?
Реплика может отставать от мастера. И у тебя же не adhoc запросы и не BI система с репортингом. Зачем эти танцы с бубном?
MySQL позволяет делать горячие бекапы? Тогда делай их регулярно, в случае аварии всегда восстановишься. И не надо тебе поднимать реплику, да ещё и постоянно мониторить её лаг. Лучше бекап сделай, небольшой простой форума тебе не критичен, здесь и так при каждом патче всё замирает до рассвета. :)))
Согласен. Но не совсем.
- репликация простая, совсем, мне никак не помешает в штатном варианте, но тут речь про то, что я хочу усложнить, перераспледелив запросы
- по идее данных мало, ресурсов достаточно, линк между узлами 10гбит, нечему там отставать, но да, знаю, ломается на ровном месте репликация, сталкивался, чинил, давно, правда было, ещё в 5 mysql. Думаю, щас оракле её вылизал от глюков
- патчи уже два месяц как применяются без остановки, самые долги были связаны с изменением структуры хранилища картинок, и то, изменения быстро накатились, было необходимо синхронизировать с яндексом, это было очень долго
- бэкапы делаются каждый день, бэкапов валяется за 2 года
- на простой мне вообще по фиг ))) но надо красиво )
Вот это нахера?) Мы на текущем месте за последние 10дней храним)
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #720215
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
Кусь  11.02.2024, 21:59
[игнорируется]
megabyte  11.02.2024, 21:04
[игнорируется]
Нет большой сложности запустить обычную мастер-слейв репликацию.
Зачем?
Бэкап если делать раз в день, то все, что за текущий день написали - проебется. Это раз.
Во вторых, время наката бэкапа - тоже потеря, на этот раз времени.
С репликацией можно более оперативно тестить изменения на одной из нод.
Каждый раз ресторить бэкап при факапе - ну такое.

Но да, нужно будет дополнительно настроить мониторинг и обслуживание.

p.s. Я не знаю, может реально все это нах не надо для задачи поддержки форума...
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #720216
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  11.02.2024, 22:40
[игнорируется]
Sparrow  11.02.2024, 18:11
[игнорируется]
У меня 1 вопрос? Зачем?

Имхо делать бакапы раз в сутки достаточно .
Ну потеряешь одноин день, контингент и не заметит.

Или чисто для своих скиллов,?

Но это бабло?
Самообучение, саморазвитие. На работе задачи чёткие, узкие, в большинстве рутинные и не всегда интересные, простора для души нет. А тут в более менее реальных боевых условиях поддержка сервиса. Меня больше ничего не интересует вообще, даже кино не смотрю, не будет чем заниматься в свободное от работы время - начну бухать, повешусь на отходняке, бугога ) А так щас эту конструкцию настраивать, потом спланировать и добиться максимально прозрачной и плавной миграции с минимальным простоем, потом поддерживать работу - это некая самодисциплина. Далее можно будет заняться микросервисами, упаковать дедопродукт в контейнеры, потестировать, раздавать. В общем, время на поипаться есть. Ну это как зачем получать высшее образованиее в 70 лет - совершенно нет смысла и денег стоит, но...
Не пробовал чем-то увлекаться, кроме работы и лизания ног?) Не, я не бухать предлагаю. А там погулять, в гости к друзьям сходить, зимой на лыжах\борде покататься. Книжку почитать на крайняк)
Я конечно рад своей работе, но для работы есть рабочее время. А свободное время не для ИТ, а то геморрой на жопе будет)
p.s. Хотя если хочешь прокачать навыхи для прокачки скиллов и последующего более качественного трудоустройства или запуска своего проекта, то подход одобряю) Но только временно. Трудоголизм - зло! :)
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 1 / 0
Нравится: IT-Клоп
Просто Трёп / Дедокластер Z
    #720532
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  12.02.2024, 09:46
[игнорируется]
megabyte  12.02.2024, 08:25
[игнорируется]
basename  11.02.2024, 22:40
[игнорируется]
Sparrow  11.02.2024, 18:11
[игнорируется]
У меня 1 вопрос? Зачем?

Имхо делать бакапы раз в сутки достаточно .
Ну потеряешь одноин день, контингент и не заметит.

Или чисто для своих скиллов,?

Но это бабло?
Самообучение, саморазвитие. На работе задачи чёткие, узкие, в большинстве рутинные и не всегда интересные, простора для души нет. А тут в более менее реальных боевых условиях поддержка сервиса. Меня больше ничего не интересует вообще, даже кино не смотрю, не будет чем заниматься в свободное от работы время - начну бухать, повешусь на отходняке, бугога ) А так щас эту конструкцию настраивать, потом спланировать и добиться максимально прозрачной и плавной миграции с минимальным простоем, потом поддерживать работу - это некая самодисциплина. Далее можно будет заняться микросервисами, упаковать дедопродукт в контейнеры, потестировать, раздавать. В общем, время на поипаться есть. Ну это как зачем получать высшее образованиее в 70 лет - совершенно нет смысла и денег стоит, но...
Не пробовал чем-то увлекаться, кроме работы и лизания ног?) Не, я не бухать предлагаю. А там погулять, в гости к друзьям сходить, зимой на лыжах\борде покататься. Книжку почитать на крайняк)
Я конечно рад своей работе, но для работы есть рабочее время. А свободное время не для ИТ, а то геморрой на жопе будет)
p.s. Хотя если хочешь прокачать навыхи для прокачки скиллов и последующего более качественного трудоустройства или запуска своего проекта, то подход одобряю) Но только временно. Трудоголизм - зло! :)
Остальное... у меня времени не хватает. ну ИТ как хобби. Книжки я тоже только айтишные читаю. В танки - тоже месяц не играл. Щас загрузка сильная на работе, не хватает времени. Что-то другое делать банально не тянет. Зачем я буду себя заставлять читать художественную книгу, если я не хочу? )))
Не, заставлять, конечном, не надо) Играть в комп игры - те же яйца, только в профиль)
Я просто стараюсь себе найти какую-то деятельность вне компа, желательно физически активную(с детьми погулять, в футбол погонять, лыжи, тюбинг с детьми опять же), а то геморрой на старости обеспечен)
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #720737
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  13.02.2024, 08:13
[игнорируется]
Гарыныч [игнорируется] 

Я вот когда на объект езжу, час на метро, потом ещё пешком 1 км идти - я вообще загинаюсь, прям упасть хочется )))
Либо хроническая усталость, либо влияние большого города. Я за это большие города и не люблю.
Поедешь раз в месяц на метро\электричке в Москву, думаешь, пиздец, как тут люди живут... :)
Меня эти толпы людей с хмурыми лицами, едущих на работу\с работы, вгоняют в уныние.
Хотя кого-то именно это и прет: быть в толпе, в движухе. Я люблю быть в движухе, но временно, а не перманентно.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 1 / 0
Нравится: basename
Просто Трёп / Дедокластер Z
    #720828
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
Сталкер  13.02.2024, 09:06
[игнорируется]
basename  13.02.2024, 08:36
[игнорируется]
megabyte  13.02.2024, 08:29
[игнорируется]
basename  13.02.2024, 08:13
[игнорируется]
Гарыныч [игнорируется] 

Я вот когда на объект езжу, час на метро, потом ещё пешком 1 км идти - я вообще загинаюсь, прям упасть хочется )))
Либо хроническая усталость, либо влияние большого города. Я за это большие города и не люблю.
Поедешь раз в месяц на метро\электричке в Москву, думаешь, пиздец, как тут люди живут... :)
Меня эти толпы людей с хмурыми лицами, едущих на работу\с работы, вгоняют в уныние.
Хотя кого-то именно это и прет: быть в толпе, в движухе. Я люблю быть в движухе, но временно, а не перманентно.
Да. Вообще движуху не люблю. Меня толпа, расстояния, шум повергает в отчаянье. Раздражение, вспышки гнева, отчаянье, опустошение. Людей просто начинаю ненавидеть. Возникают суицидальные мысли, типа, было бы неплохо в гробу. Надеюсь, удастся хоть на старость, если доживу, свалить в тишину. Жить в Москве для меня невозможно.
Способ борьбы с суетой для себя я нашёл. Движение на работу на велосипеде в потоке машин. После такой поездки становишься бодрым, как после хорошего кофе (только кофе, даже хороший, слегка воняет, а здесь вонять нечему, кроме тебя самого), спокойным каку дав, и пофиг на любую движуху.
Да, физические нагрузки перед работой на меня тоже оказывают положительное влияние. Я тут на море бегаю, не регулярно, но периодически.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 1 / 0
Нравится: Сталкер
Просто Трёп / Дедокластер Z
    #721769
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  15.02.2024, 15:32
[игнорируется]
Примерная планируемая схема фунциклирования Дедофорума
pasted_image.png
Мне кажется, на моей текущей и прошлой работе некоторые продуктовые сервера проще были устроены))

А на микросервисы переходить будешь?))
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #761262
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  12.04.2024, 19:52
[игнорируется]
Брюквенные годы  12.04.2024, 19:45
[игнорируется]
serg_tmb  12.04.2024, 19:22
[игнорируется]
basename  12.04.2024, 17:28
[игнорируется]
serg_tmb  12.04.2024, 17:26
[игнорируется]
...
У деды другой профиль, деда разраб, а тут нужен дба, архитектор. Деда вроде тоже такого не делал. Не язык запроосов нужен, а архитектура работы серверной части субд.
Счас ты меня огорчил я думал Деда мастер на все руки!
Ну с хапрокси я подсказал:) девопс конфигурил я смотрел на ус мотал для общего развития но конфигурацией и поддержкой не занимался естественно
Почитав материалы, я понял, master master будет проще переключать при необходимости, но в две лучше не писать, в какую-то одну. Master slave - тут хуже.
Нахер тебе master master? Гемора больше и инфра сложнее. Сделал бы стандартный Master slave и не ипал бы мозг.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 2 / 0
Нравится: IT-Клоп, Sparrow
Просто Трёп / Дедокластер Z
    #761339
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  18.04.2024, 15:32
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
basename  12.04.2024, 19:52
[игнорируется]
Брюквенные годы  12.04.2024, 19:45
[игнорируется]
serg_tmb  12.04.2024, 19:22
[игнорируется]
...
Ну с хапрокси я подсказал:) девопс конфигурил я смотрел на ус мотал для общего развития но конфигурацией и поддержкой не занимался естественно
Почитав материалы, я понял, master master будет проще переключать при необходимости, но в две лучше не писать, в какую-то одну. Master slave - тут хуже.
Нахер тебе master master? Гемора больше и инфра сложнее. Сделал бы стандартный Master slave и не ипал бы мозг.
Маster slave сложнее будет. Как переключаться в неё?
В MSSQL, PostgreSQL переключение на реплику делается одной командой. Подозреваю, на MySQL\MariaDB аналогично.
Т.е. это не автоматом.
Чтоб приложуха коннектилась автоматом к нужному серверу, надо что-то типа virtual ip сделать, где подменить реальный ip при падении.
Итого 2 действия.
С учетом, что работа форума 24\7 нахуй не сдалась, при аварии ничего ценного не потеряется, юзеры подождут.
С master-master еще чреваты вопросы поддержки этого хозяйства. Будешь чинить там всякие расщепления данных. + тебе надо будет 3 сервера поднимать, вместо 2х.
p.s. На MySQL работал с готовой репликацией, чинил ее, но вот конкретно переключение на реплику ни разу не приходилось делать.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #761348
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
Кусь  18.04.2024, 16:52
[игнорируется]
basename  12.04.2024, 17:25
[игнорируется]
но скоро я наткнусь на то, что знаю плохо - MySQL DB. В усложнённой конфигурации. С репликацией. Причем, ошибиться нельзя.
Спроси Дикея, он поможет. [:zsmoke]
Там в комплекте надо будет таблицу хуев срепицировать с дикеефорума. Оно надо Базе?)
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #767560
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  26.04.2024, 21:20
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
basename  12.04.2024, 19:52
[игнорируется]
Брюквенные годы  12.04.2024, 19:45
[игнорируется]
serg_tmb  12.04.2024, 19:22
[игнорируется]
...
Ну с хапрокси я подсказал:) девопс конфигурил я смотрел на ус мотал для общего развития но конфигурацией и поддержкой не занимался естественно
Почитав материалы, я понял, master master будет проще переключать при необходимости, но в две лучше не писать, в какую-то одну. Master slave - тут хуже.
Нахер тебе master master? Гемора больше и инфра сложнее. Сделал бы стандартный Master slave и не ипал бы мозг.
Sparrow  18.04.2024, 15:09
[игнорируется]
megabyte [игнорируется] 

Базе не ищет лёгких путей. Но Чем сложнее конфигурация , тем больше в ней уязвимостей.

дедофорум отличная площадка для прокачивания
Скиллов, освоения технологий.
провёл краш тест с выключением по кнопке. Всё выжило, гипервизоры, gluster том, кроме марии дб. Бугога. Причем не только кластер сломался, она вообще не захотела стартовать.

не, ну на куй его. Я восстановить не смогу. Либо надо научится делать. но я с этим не работаю, так что учиться не у кого.

Так дел не пойдёт, это ебаная БД - ключевой компонент. А из дампа клон скуля восстанавливать несколько часов.

Что любопытно, текущая БД тоже несколько раз перегружалась, ну может не так жёстко, но аварийно, и поднималась сама.

Будем читать. Да и Деда Марию не тестировал.
А какой размер БД?
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #767568
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  26.04.2024, 23:39
[игнорируется]
Дед-Папыхтет  26.04.2024, 22:08
[игнорируется]
basename  26.04.2024, 21:20
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
basename  12.04.2024, 19:52
[игнорируется]
...
Нахер тебе master master? Гемора больше и инфра сложнее. Сделал бы стандартный Master slave и не ипал бы мозг.
Sparrow  18.04.2024, 15:09
[игнорируется]
megabyte [игнорируется] 

Базе не ищет лёгких путей. Но Чем сложнее конфигурация , тем больше в ней уязвимостей.

дедофорум отличная площадка для прокачивания
Скиллов, освоения технологий.
провёл краш тест с выключением по кнопке. Всё выжило, гипервизоры, gluster том, кроме марии дб. Бугога. Причем не только кластер сломался, она вообще не захотела стартовать.

не, ну на куй его. Я восстановить не смогу. Либо надо научится делать. но я с этим не работаю, так что учиться не у кого.

Так дел не пойдёт, это ебаная БД - ключевой компонент. А из дампа клон скуля восстанавливать несколько часов.

Что любопытно, текущая БД тоже несколько раз перегружалась, ну может не так жёстко, но аварийно, и поднималась сама.

Будем читать. Да и Деда Марию не тестировал.
Ну если мсскл я бы подсказал - не раз кластера настраивал и там вин сервер... А чо там в линухах не ибу, ну и что мариадб поддерживает из высокой доступности хз.
А чо сколько весит щас бд? Может бэкапить вообще всю виртуалку?
Ну ос тут точно не причём, да и субд тоже. Субд -форк mysql когда-то, отзываются хорошо, так что тут я виноват, а не кто-то.

Самая большая БД из набора - скуль. Где-то 100+ Гигов ну и старый дедофорум + новый. Не помню сколько может под 25 гигов все вместе.

Я выделил диски по 500 гигов для БД.

Сами виртуалки да, буду бэкапить, конечно, но часто я это делать не смогу.
125гб несколько часов восстанавливалось из дампа? Может у тебя с пропускной способностью сети между хранилкой бэкапов и БД затык?
Я недавно БД почли 0.5Тб за 2.5ч отресторил. И это был дамп.

Кстати, может лучше делать физический бэкап, чем дамп? Дамп удобен для другого: переезда между разными версиями там.
Попробуй решение от Percona - XtraBackup. Физическая копия будет быстрее делаться и ресториться, чем дамп.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #767569
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  26.04.2024, 23:47
[игнорируется]
megabyte  18.04.2024, 16:44
[игнорируется]
basename  18.04.2024, 15:32
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
basename  12.04.2024, 19:52
[игнорируется]
...
Нахер тебе master master? Гемора больше и инфра сложнее. Сделал бы стандартный Master slave и не ипал бы мозг.
Маster slave сложнее будет. Как переключаться в неё?
В MSSQL, PostgreSQL переключение на реплику делается одной командой. Подозреваю, на MySQL\MariaDB аналогично.
Т.е. это не автоматом.
Чтоб приложуха коннектилась автоматом к нужному серверу, надо что-то типа virtual ip сделать, где подменить реальный ip при падении.
Итого 2 действия.
С учетом, что работа форума 24\7 нахуй не сдалась, при аварии ничего ценного не потеряется, юзеры подождут.
С master-master еще чреваты вопросы поддержки этого хозяйства. Будешь чинить там всякие расщепления данных. + тебе надо будет 3 сервера поднимать, вместо 2х.
p.s. На MySQL работал с готовой репликацией, чинил ее, но вот конкретно переключение на реплику ни разу не приходилось делать.
В качестве третего для galera arbitrator используют, как я почитал, кто не может 3 сделать.

По поводу виртуального ip haproxy + keepalive ( деда дал )

Есть ещё популярное proxysql.

Но! Это все гладко на бумаге и в инструкции, надо иметь опыт. А краш тест показал, что galera кластер я восстановить не смог. А это никуда не годится. Это длительный простой.

Вообще, это же не совсем репликация то.
Да я тоже в Магните когда работал, натрахался с этой галерой. Там она система стабильно раз в месяц почему-то падала.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #767872
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  27.04.2024, 10:16
[игнорируется]
megabyte  27.04.2024, 10:05
[игнорируется]
basename  26.04.2024, 23:39
[игнорируется]
Дед-Папыхтет  26.04.2024, 22:08
[игнорируется]
basename  26.04.2024, 21:20
[игнорируется]
...
Ну если мсскл я бы подсказал - не раз кластера настраивал и там вин сервер... А чо там в линухах не ибу, ну и что мариадб поддерживает из высокой доступности хз.
А чо сколько весит щас бд? Может бэкапить вообще всю виртуалку?
Ну ос тут точно не причём, да и субд тоже. Субд -форк mysql когда-то, отзываются хорошо, так что тут я виноват, а не кто-то.

Самая большая БД из набора - скуль. Где-то 100+ Гигов ну и старый дедофорум + новый. Не помню сколько может под 25 гигов все вместе.

Я выделил диски по 500 гигов для БД.

Сами виртуалки да, буду бэкапить, конечно, но часто я это делать не смогу.
125гб несколько часов восстанавливалось из дампа? Может у тебя с пропускной способностью сети между хранилкой бэкапов и БД затык?
Я недавно БД почли 0.5Тб за 2.5ч отресторил. И это был дамп.

Кстати, может лучше делать физический бэкап, чем дамп? Дамп удобен для другого: переезда между разными версиями там.
Попробуй решение от Percona - XtraBackup. Физическая копия будет быстрее делаться и ресториться, чем дамп.
Да. На текущем хостинге, на этом. А он, сравнительно быстрый. Может пров что-то подрезает. Поглядим на новом с физическими серверами. Так-то обхем маленький, но не для стандартного хостинга.

Давно уже я делал через снэпшоты LVM. Механизм в слайдах Оракла нашёл
Суть:
- flush tables with read lock; create snapshot; exit. Не обращайте внимание на блокировку, снэпшот создаётся быстрее, чем что-то успевает записаться, при выходе тут же снимается.
- архивируем директорию с данными, изменения пишутся в снэпшот.
- удаляем снэпшот, изменения сбрасываются в данные

Но так я делал с заббиксом, там терабайт с чем-то был, обычный дамп - очень долго. Всё корректно восстанавливалось + я переносил такой архив на слейв, чтобы репликацию настроить.

Но критиковали этот способ многие.

Я тут ещё вычитал про mariabackup. Это не аналог xtrabckup?
Не пользовался, не в курсе. Думаю, гугл ответит.
А диски какие: hdd, ssd?
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #767873
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
s62  27.04.2024, 15:11
[игнорируется]
IT-Клоп  27.04.2024, 14:52
[игнорируется]
Физический есть. На надо останавливать базу ))
Пишут, что MariaBackup может делать бэкап на ходу (без остановки БД), если используется тип таблиц InnoDB.
https://mariadb.com/kb/en/mariabackup-overview/
Ну если дедофорум до сих пор на MyIsam, эт песдец))
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #767874
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  27.04.2024, 15:25
[игнорируется]
Просто Трёп [игнорируется] 

ещё выше мегабайт озвучил xtrabackup. Слышал, но никогда не делал.
Бэкап LVM - не для задачи рестора БД. БД лучше бэкапить ее средствами.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #771803
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  28.04.2024, 15:54
[игнорируется]
Ещё моменты:
- вся конструкция стартует примерно минут 30 до возможности предоставления сервиса
- при старте требуется вмешательство администратора, то есть, порядок запуска

Что-то можно автоматизировать, но в некоторых случаях вмешательство всё-таки может потребоваться. Так вот, для галеры, как известно нужно три узла для нормального состояния работы и два узла чтобы СУБД обрабатывала запросы, ну то есть это аварийное состояние, практически, пока не войдёт в работы третий узел. Да, можно решить проблему арбитром, как я выше писал, то есть фейковая нода только для оркестрации. Решение применяется, популярно, в доке описано. Всё бы хорошо, но у нас физически два узла, то есть, арбитр и одну ноду субд нужно разместить на одном физическом узле. Если узел перезагрузиться и останется одна рабочая нода - кластер развалится и самостоятельно не соберётся. он вообще развливается если всё выключить, надо заново инициализировать.

Но и в том случае, если просто одна нода субд или репликация мастер-слэйв и епнется нода с мастером, тоже ни куя работать не будет.

Что всё это значит.

При нештатной перезагрузке хотя бы одного физического узла кластера - неработоспособность форумов. 50 на 50. А с учётом того, что я могу сидеть на объекте за периметром, без интернета вообще или ещё чего-нибудь, форумы могут не работать куй знает сколько времени, пока я не починю конструкцию.

Так то.

Сейчас просто виртуалка у хостера автоматом стартует если что вдруг и всё ок. Может, конечно, что-нибудь отвалится, но пока всё норм было.
Так реплика же будет рабочая! Ну да, надо будет вручную переключить. Ну теоретически можно несложный bash-скрипт набросать: мастер не доступен, запускаем реплику.
p.s. А воообще все это не так чтобы нужно. Главное, чтоб при недоступности СУБД или чего-то еще на форуме автоматом включались "технические работы". Тогда пользователи будут спокойны. [:biggrin]
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #771804
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  03.05.2024, 09:43
[игнорируется]
всё думал, что делать с mariadb

Буду делать 4 узла в galera cluster multimaster. По два на каждой физической ноде. При отвале одной физической ноды кворум будет сохранён, кластер продолжит работу. накладные расходы 75%. Жесть, конечно. То есть, 4-way replication по сути. из 2 теров емкости 512 гигов рабочих.

Запросы размажем по всем узлам при помощи, скорее всего, haproxy, но я ещё почитаю доку по sqlproxy

Другого выходя у меня нет. Классическая репликация master - slave - ну на куй он по сути. Ну есть эта копия данных, ресурсы тратятся, требует манипуляций при переключении, также шикарно отваливается при падении и требует починки.
Ну если хочешь секса, то делай.
Классический master - slave используется в 95% случаев, как простой и надежный вариант отказоустойчивости.
А эту ебаную галеру я чаще чинил, чем все остальные mysql-хосты.
p.s. А за мультимастер вообще пИздить надо ссанымы тряпками. :)
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Изменено: 03.05.2024, 10:05 - megabyte
Рейтинг: 1 / 0
Нравится: IT-Клоп
Просто Трёп / Дедокластер Z
    #771854
megabyte
Скрыть профиль Поместить в игнор-лист
Участник
basename  03.05.2024, 10:10
[игнорируется]
megabyte  03.05.2024, 10:04
[игнорируется]
basename  03.05.2024, 09:43
[игнорируется]
всё думал, что делать с mariadb

Буду делать 4 узла в galera cluster multimaster. По два на каждой физической ноде. При отвале одной физической ноды кворум будет сохранён, кластер продолжит работу. накладные расходы 75%. Жесть, конечно. То есть, 4-way replication по сути. из 2 теров емкости 512 гигов рабочих.

Запросы размажем по всем узлам при помощи, скорее всего, haproxy, но я ещё почитаю доку по sqlproxy

Другого выходя у меня нет. Классическая репликация master - slave - ну на куй он по сути. Ну есть эта копия данных, ресурсы тратятся, требует манипуляций при переключении, также шикарно отваливается при падении и требует починки.
Ну если хочешь секса, то делай.
Классический master - slave используется в 95% случаев, как простой и надежный вариант отказоустойчивости.
А эту ебаную галеру я чаще чинил, чем все остальные mysql-хосты.
p.s. А за мультимастер вообще пИздить надо ссанымы тряпками. :)
ну.... что сказать, попробуем в такой конфигурации. Если будет все время плохо перейдём на master slave.

Я конечно понимаю, что лучше прислушаться к твоему опыту, так как у меня его нет в этом вопросе.

Спрошу:
- а давно это у тебя было? что ломалось? вроде читаю сейчас никто особо не жалуется
- что именно ломалось, в общих чертах, можешь уточнить?
На предыдущем месте в Магните было порядка 22 MySQL-хостов. Из них на одной или двух систем только была Галера. Там была какая-то бага, возможно связанная с версией MySQL 5.7 - MySQL постепенно сжирала ОЗУ и ее прибивал OOM-killer. Такое было на 3х системах. Две из них(там обычная percona master-slave) были проапгрейжены до MySQL 8.0 - проблема ушла.
Причем о проблеме я узнал, когда настроил мониторинг. На percona master-slave служба MySQL падала, но потом сама поднималась за минуту-две. Т.е. в целом для пользователей было не заметно. Но службы стабильно раз 1-2 недели падали и ребутились. Не кошерно.

А вот третья с Галерой падала насмерть(сначала один хост, потом остальных два), но раз в месяц и, сука, чаще всего в мое дежурство попадала)
Я пытался ее чинить, читал мануалы. По идее она вообще сама должна была подниматься. В итоге звонил более шарящему товарищу по MySQL. Он что-то там химичил(но никогда не говорил что), через какое-то время 1-1.5ч система поднималась.
Можно, конечно, считать, что это я чайник. :) Нас в отделе было 4ро. Двое других вообще к MySQL не прикасались. Также шли к 4му коллеге, когда она падала в их дежурство. Текучкой по MySQL не занимались.
А я хоть что-то там чинил(percona репликацию), полностью весь мониторинг сделал, версии обновлял, оптимизацией запросов занимался.
Как бы у нас основной СУБД была все же PostgreSQL(порядка 100 инстансов). MySQL была постольку-поскольку.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Изменено: 03.05.2024, 12:01 - megabyte
Рейтинг: 0 / 0
25 сообщений из 37, страница 1 из 2
Форумы [новые:1] / Просто Трёп [закрыт для гостей] [новые:1] / Дедокластер Z, Поиск: Искать сообщения, созданные автором: megabyte  
Читали тему (1): Анонимы (1)
Игнорируют тему (1): erbol
Читали форум (9): Анонимы (7), Брюквенные годы 1 мин., ShuraNOSQL 5 мин.
Пользователи онлайн (13): Анонимы (9), Брюквенные годы, Bing Bot 1 мин., Yandex Bot 2 мин., ShuraNOSQL 5 мин.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]