powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / Просто Трёп [закрыт для гостей] / Дедокластер Z, Поиск: Искать сообщения, созданные автором: basename  
25 сообщений из 155, страница 1 из 7
Просто Трёп / Дедокластер Z
    #719696
basename
Скрыть профиль Поместить в игнор-лист
Участник
Вы думаете я забыл? Нет!

Сегодня обсуждался вопрос организации отказоустойчивого кластера Дедофорума. Скоро должны смонтировать оборудование, приступлю к развёртыванию, погоняю.

Планируемые вычислительные ресурсы:
- 2 узла
- 24 ядра
- 144 гб озу
- примерно 6 тб полезного дискового пространства в 5 рейде с хот спаре
- рейд контроллеры с батарейкой
- 10 гбит/с между узлами для миграции ВМ
- 200 мб/с канал в инет

Для виртуализации буду использовать, скорее всего, Альт виртуализацию. ( но ещё думаю по поводу Ред виртуализации, но она сложнее, более громоздкая, лишнее, наверное)Для гостевых ВМ - РедОС

Это обеспечит высокую доступность и минимизацию даунтайма при выполнении работ по обновлению ОС.
1F0DE055-96F8-4D9B-B960-A604F6533C5D.jpeg
5301B95F-7AB4-4D8A-B207-296F26DE1321.jpeg
B957AE2A-556B-415C-8DE5-A7B0093DF6BB.jpeg
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719697
basename
Скрыть профиль Поместить в игнор-лист
Участник
В целом по работам все понятно. Пока не знаю, только, как сделать схему primary standby с автопереключением для СУБД.
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719703
basename
Скрыть профиль Поместить в игнор-лист
Участник
Разум вселенной  10.02.2024, 20:54
[игнорируется]
basename [игнорируется] 

Дружище, расслабся) Всё уже придумали) Просто рисуй картинки и пости их находу) Не нужно ни регистрации, ни логина, ни пароля)
Просто рисуешь и тут же можешь выложить)

https://slog.ge/

Сссылка на скачивание вверху страницы) И можешь отдыхать) Пусть рисуют, чертят чертежи) А ты будешь с умным видом потом рассматривать их чертежи и раздавать советы! Не упусти такой шанс! Он бывает раз в жизни!))
У меня венды нет под рукой. Щас с телефона вообще.
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719704
basename
Скрыть профиль Поместить в игнор-лист
Участник
Redd  10.02.2024, 20:53
[игнорируется]
Если честно, то всем насрать.
Да! Но это должно быть интересно!
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719757
basename
Скрыть профиль Поместить в игнор-лист
Участник
basename  10.02.2024, 20:49
[игнорируется]
В целом по работам все понятно. Пока не знаю, только, как сделать схему primary standby с автопереключением для СУБД.
Вот по этому вопросу, у кого-нибудь есть железобетонно рабочий пример схемы для MySQL, primary-standby, когда, standby мгновенно превращается в primary, при отказе, и репликация обратно? Или руками переключать только?

Погуглил примеры, в подобной реализации слишком большое усложнение и этих ресурсов тоже не хватит уже.

Вообще, хотелось бы на один писать, с другого читать. Но тоже усложнение. Пока думаю схему с переключением.

Хз, как добиться отказоустойчивость для Субд в случае 2-х узлов.

Ну, то есть, надо не сильно усложнять, чтобы при необходимости можно было съехать обратно на хостинг, как сейчас, но и использовать ресурсы для, так сказать, зеркалирования.

Например, обновляю гипервизор. Машины с одного отправил на другой, обновил первый, потом отправил со второго на первый, обновил второй, потом снова разогнал машины по двум. Вы ничего не заметили вообще.

С обновлением самих машин уже посложнее, но мне знакомо хорошо Но непонятки с субд. Если я обновляю primary - это даунтайм. нужно легким движением пальца пнуть MySQL, чтобы переключился primary в standby и переключился накат логов обратно. Чтобы вы опять ничего не заметили.
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719789
basename
Скрыть профиль Поместить в игнор-лист
Участник
Горбатый ёж  10.02.2024, 22:45
[игнорируется]
basename [игнорируется] 

Это спорт такой в твоём случае?
Как будто ты нашёл халявный или около того ресурс, который ещё и под тебя подстраивается.
Непонятная херня какая-то творится, если честно.
ЗЫ про примари-стендбай не подскажу, я не дба, сорян.
Все нормально. Ничего плохого не творится :)

Вот с DB надо понять. Иначе это место простоя и в реализации схемы нет смысла. Split read-write, конечно, очень хочется.

Остальное все знаю как закластеризовать и зафэйловерить.
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719799
basename
Скрыть профиль Поместить в игнор-лист
Участник
Горбатый ёж  10.02.2024, 23:00
[игнорируется]
basename [игнорируется] 

Я почитаю что там в майскуле делают, но я не дба.
Ну я тоже гуглил. Либо очень ресурсоемко, сложно, но полностью HA, либо на коленке, скриптами, с костылями.

Просто, на всякий случай спросил, может кто делал. Репликация понятно, дело не сложное, но смысл в ней, если нет автоматизированной схемы переключения в случае аварии.
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719822
basename
Скрыть профиль Поместить в игнор-лист
Участник
Брюквенные годы  10.02.2024, 23:16
[игнорируется]
А зачем такое для полторы калеки?
Как говорится, дают - бери. Бьют - беги.
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719861
basename
Скрыть профиль Поместить в игнор-лист
Участник
С БД жесть.

Может это и не сложно, но я никогда не делал.

https://docs.oracle.com/en/solutions/ha-mysql-innodb-cluster/index.html#GUID-9F8C3C85-FBA4-47D9-BEAA-036532076771

https://www.percona.com/blog/failover-mysql-utilities-part1-mysqlrpladmin/
https://www.percona.com/blog/failover-mysql-utilities-part-2-mysqlfailover/

Второй варик попроще, но точкой отказа становится сам mysqlfailover, либо надо понять, можно ли запустить 2 экземпляра на 2-х кластеризованных серверах веб-приложений. Если да, то подойдёт.

Ну а по правильному надо городить конструкцию по первой ссылке.
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719867
basename
Скрыть профиль Поместить в игнор-лист
Участник
Брюквенные годы  10.02.2024, 23:16
[игнорируется]
А зачем такое для полторы калеки?
А вообще… знаешь же служивый юмор?
- от столба и до обеда
- главное, чтоб вы не снег очистили, а чтоб заебались

:)

Что-то вроде этого
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719872
basename
Скрыть профиль Поместить в игнор-лист
Участник
Пока планирование следующее

Гипервизоры. Кластер (HA)
pve1
pve2

Будут соблюдены: Mgmt Plane, Control Plane, Data Plane

VM
#####

Роутеры (HA):
rt1
rt2

#
Абонентский пункт администратора:
srv-adm

#
Хранилище (shared storage) для инфраструктуры ВМ (HA)
gluster-arbiter
gluster-fs1
gluster-fs2

#
Веб-сервера доступа внешнего контура (HA) (LB)
nginx1
nginx2

#
Сервера приложений (Дедофорум и форумы) (HA) (LB)
apache1
apache2

#
Сервис монитторинга (HA)
zabbix
zabbix-proxy1
zabbix-proxy2

#
СУБД (???)
DB1
DB2

#
Сервер разработки
gitlab

#
Сервер Кролика
kroleg
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719873
basename
Скрыть профиль Поместить в игнор-лист
Участник
Надо разобраться с субд.
Буду читать
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719874
basename
Скрыть профиль Поместить в игнор-лист
Участник
Но взлететь мало! Потом ебанись это все поддерживать, бугога))
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719877
basename
Скрыть профиль Поместить в игнор-лист
Участник
megabyte  11.02.2024, 07:56
[игнорируется]
basename  10.02.2024, 22:38
[игнорируется]
basename  10.02.2024, 20:49
[игнорируется]
В целом по работам все понятно. Пока не знаю, только, как сделать схему primary standby с автопереключением для СУБД.
Вот по этому вопросу, у кого-нибудь есть железобетонно рабочий пример схемы для MySQL, primary-standby, когда, standby мгновенно превращается в primary, при отказе, и репликация обратно? Или руками переключать только?

Погуглил примеры, в подобной реализации слишком большое усложнение и этих ресурсов тоже не хватит уже.

Вообще, хотелось бы на один писать, с другого читать. Но тоже усложнение. Пока думаю схему с переключением.

Хз, как добиться отказоустойчивость для Субд в случае 2-х узлов.

Ну, то есть, надо не сильно усложнять, чтобы при необходимости можно было съехать обратно на хостинг, как сейчас, но и использовать ресурсы для, так сказать, зеркалирования.

Например, обновляю гипервизор. Машины с одного отправил на другой, обновил первый, потом отправил со второго на первый, обновил второй, потом снова разогнал машины по двум. Вы ничего не заметили вообще.

С обновлением самих машин уже посложнее, но мне знакомо хорошо Но непонятки с субд. Если я обновляю primary - это даунтайм. нужно легким движением пальца пнуть MySQL, чтобы переключился primary в standby и переключился накат логов обратно. Чтобы вы опять ничего не заметили.
Для master-master и автопереключения Galera cluster есть. Но там 3 ноды надо для кворума. Подумай, надо ли оно тебе. Руками переключить проще будет при обычной репликации.
Да. Везде в более-менее серьёзных примерах минимум 3 штуки.
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719878
basename
Скрыть профиль Поместить в игнор-лист
Участник
megabyte  11.02.2024, 08:01
[игнорируется]
basename  10.02.2024, 23:04
[игнорируется]
Горбатый ёж  10.02.2024, 23:00
[игнорируется]
basename [игнорируется] 

Я почитаю что там в майскуле делают, но я не дба.
Репликация понятно, дело не сложное, но смысл в ней, если нет автоматизированной схемы переключения в случае аварии.
Смысл в отказоустойчивости.
Руками переключать?
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719884
basename
Скрыть профиль Поместить в игнор-лист
Участник
megabyte  11.02.2024, 08:24
[игнорируется]
basename  11.02.2024, 08:05
[игнорируется]
megabyte  11.02.2024, 08:01
[игнорируется]
basename  10.02.2024, 23:04
[игнорируется]
Горбатый ёж  10.02.2024, 23:00
[игнорируется]
...
Репликация понятно, дело не сложное, но смысл в ней, если нет автоматизированной схемы переключения в случае аварии.
Смысл в отказоустойчивости.
Руками переключать?
Да, в подавляющем большинстве случаев именно такая схема в большинстве СУБД: полуавтомат. Одной командой переключаешь мастер-реплика.
А с автофейловером - он ведь может и не отработать корректно.
Обычная репликация проще, поэтому надежнее.
Понял. Спасибо!
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719885
basename
Скрыть профиль Поместить в игнор-лист
Участник
megabyte [игнорируется] 

А что скажешь по поводу конфигурации split read/write?

Физически, master и slave я размещу на разных серверах. Было бы хорошо, если бы читали с реплики, а писали в мастер. Какие-нибудь камни есть? Кроме того, деда говорил, что у него из коробки форум может работать с такой конфой, то есть, переключение не должно вызвать особых трудностей, как я понимаю.
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719969
basename
Скрыть профиль Поместить в игнор-лист
Участник
megabyte  11.02.2024, 09:50
[игнорируется]
basename  11.02.2024, 08:40
[игнорируется]
megabyte [игнорируется] 

А что скажешь по поводу конфигурации split read/write?

Физически, master и slave я размещу на разных серверах. Было бы хорошо, если бы читали с реплики, а писали в мастер.
Так это как раз проблема master-master. А если реплика readonly, но никаких проблем не должно быть, кроме отставания данных по репликации. Лаг репликации надо мониторить.
Не, я имел в виду не master-master (в курсе, что много нюансов в такой репликации и не очень рекомендуют), а именно простую, master-slave/

НО!

При этом, получается, селекты пользака обрабатывает slave, а апдейты, инсерты и т.д - master.
pasted_image.png
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719978
basename
Скрыть профиль Поместить в игнор-лист
Участник
basename  11.02.2024, 13:13
[игнорируется]
megabyte  11.02.2024, 09:50
[игнорируется]
basename  11.02.2024, 08:40
[игнорируется]
megabyte [игнорируется] 

А что скажешь по поводу конфигурации split read/write?

Физически, master и slave я размещу на разных серверах. Было бы хорошо, если бы читали с реплики, а писали в мастер.
Так это как раз проблема master-master. А если реплика readonly, но никаких проблем не должно быть, кроме отставания данных по репликации. Лаг репликации надо мониторить.
Не, я имел в виду не master-master (в курсе, что много нюансов в такой репликации и не очень рекомендуют), а именно простую, master-slave/

НО!

При этом, получается, селекты пользака обрабатывает slave, а апдейты, инсерты и т.д - master.
pasted_image.png
1. Простую репликацию master-slave я умею, делал не раз, для систем монтиоринга, именно с целью в случае аварии иметь возможность вручную переключиться на резервный. Тут понятно.

2. С автофайловером выяснили, не для нубья, то есть, не для меня, и гладко там на бумаге, хотя может тоже эффективный инструмент в руках профессионала.

3. Настроить репликацию с последующим ручным переключением - не вопрос. Настрою. Но я бы хотел утилизировать вычислительные мощности, отданные slave, чтобы не только master всё делал, а slave простаивал, но и slave что-то делал.
Как-то так https://syntaxbug.com/26e5ac0907/

Но нюансы последнего пунтка мне неизвестны.

Вот, например, нашёл статью, хоть и старую, начинают закрадываться сомнения, что я правильно смогу настроить https://www.percona.com/sites/default/files/presentations/Read Write Split.pdf

А вот, кстати, что-то новенькое впендюрили
https://dev.mysql.com/blog-archive/mysql-8-2-transparent-read-write-splitting/
...
Изменено: 11.02.2024, 13:32 - basename
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719980
basename
Скрыть профиль Поместить в игнор-лист
Участник
Ну вот, в принципе, на картинке нарисовано прямо в тему.

https://proxysql.com/
pasted_image.png
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719998
basename
Скрыть профиль Поместить в игнор-лист
Участник
Кусь  11.02.2024, 14:22
[игнорируется]
basename  11.02.2024, 08:40
[игнорируется]
А что скажешь по поводу конфигурации split read/write?
Реплика может отставать от мастера. И у тебя же не adhoc запросы и не BI система с репортингом. Зачем эти танцы с бубном?
MySQL позволяет делать горячие бекапы? Тогда делай их регулярно, в случае аварии всегда восстановишься. И не надо тебе поднимать реплику, да ещё и постоянно мониторить её лаг. Лучше бекап сделай, небольшой простой форума тебе не критичен, здесь и так при каждом патче всё замирает до рассвета. :)))
Согласен. Но не совсем.
- репликация простая, совсем, мне никак не помешает в штатном варианте, но тут речь про то, что я хочу усложнить, перераспледелив запросы
- по идее данных мало, ресурсов достаточно, линк между узлами 10гбит, нечему там отставать, но да, знаю, ломается на ровном месте репликация, сталкивался, чинил, давно, правда было, ещё в 5 mysql. Думаю, щас оракле её вылизал от глюков
- патчи уже два месяц как применяются без остановки, самые долги были связаны с изменением структуры хранилища картинок, и то, изменения быстро накатились, было необходимо синхронизировать с яндексом, это было очень долго
- бэкапы делаются каждый день, бэкапов валяется за 2 года
- на простой мне вообще по фиг ))) но надо красиво )
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #719999
basename
Скрыть профиль Поместить в игнор-лист
Участник
Кусь  11.02.2024, 14:23
[игнорируется]
basename  11.02.2024, 13:35
[игнорируется]
Ну вот, в принципе, на картинке нарисовано прямо в тему.

https://proxysql.com/
pasted_image.png
Понятно, тебе поиграться значит надо.
А ты думал, производственная необходимость? )) Вот в картинку выше я не умею, надо научится.
...
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #720170
basename
Скрыть профиль Поместить в игнор-лист
Участник
Sparrow  11.02.2024, 18:11
[игнорируется]
У меня 1 вопрос? Зачем?

Имхо делать бакапы раз в сутки достаточно .
Ну потеряешь одноин день, контингент и не заметит.

Или чисто для своих скиллов,?

Но это бабло?
Самообучение, саморазвитие. На работе задачи чёткие, узкие, в большинстве рутинные и не всегда интересные, простора для души нет. А тут в более менее реальных боевых условиях поддержка сервиса. Меня больше ничего не интересует вообще, даже кино не смотрю, не будет чем заниматься в свободное от работы время - начну бухать, повешусь на отходняке, бугога ) А так щас эту конструкцию настраивать, потом спланировать и добиться максимально прозрачной и плавной миграции с минимальным простоем, потом поддерживать работу - это некая самодисциплина. Далее можно будет заняться микросервисами, упаковать дедопродукт в контейнеры, потестировать, раздавать. В общем, время на поипаться есть. Ну это как зачем получать высшее образованиее в 70 лет - совершенно нет смысла и денег стоит, но...
...
Рейтинг: 1 / 0
Нравится: Просто Трёп
Просто Трёп / Дедокластер Z
    #720171
basename
Скрыть профиль Поместить в игнор-лист
Участник
Sparrow  11.02.2024, 18:13
[игнорируется]
При любом переключении, будет потеря коннекта на сервер бд
это понятно. Это приемлемые условия. И в кластере виртуализации при отключении одного узла, пойдет миграция вычислительных ресурсов на другой, тоже будет недоступность какое-то время, но это предсказуемо и так работает.
...
Изменено: 11.02.2024, 22:59 - basename
Рейтинг: 0 / 0
Просто Трёп / Дедокластер Z
    #720172
basename
Скрыть профиль Поместить в игнор-лист
Участник
megabyte  11.02.2024, 21:07
[игнорируется]
basename  11.02.2024, 14:41
[игнорируется]
Кусь  11.02.2024, 14:22
[игнорируется]
basename  11.02.2024, 08:40
[игнорируется]
А что скажешь по поводу конфигурации split read/write?
Реплика может отставать от мастера. И у тебя же не adhoc запросы и не BI система с репортингом. Зачем эти танцы с бубном?
MySQL позволяет делать горячие бекапы? Тогда делай их регулярно, в случае аварии всегда восстановишься. И не надо тебе поднимать реплику, да ещё и постоянно мониторить её лаг. Лучше бекап сделай, небольшой простой форума тебе не критичен, здесь и так при каждом патче всё замирает до рассвета. :)))
Согласен. Но не совсем.
- репликация простая, совсем, мне никак не помешает в штатном варианте, но тут речь про то, что я хочу усложнить, перераспледелив запросы
- по идее данных мало, ресурсов достаточно, линк между узлами 10гбит, нечему там отставать, но да, знаю, ломается на ровном месте репликация, сталкивался, чинил, давно, правда было, ещё в 5 mysql. Думаю, щас оракле её вылизал от глюков
- патчи уже два месяц как применяются без остановки, самые долги были связаны с изменением структуры хранилища картинок, и то, изменения быстро накатились, было необходимо синхронизировать с яндексом, это было очень долго
- бэкапы делаются каждый день, бэкапов валяется за 2 года
- на простой мне вообще по фиг ))) но надо красиво )
Вот это нахера?) Мы на текущем месте за последние 10дней храним)
Это вообще без всякого умысла. Просто лень удалять, но там место заканчивается, почищу. Так только логи нужно хранить 3 года
...
Рейтинг: 0 / 0
25 сообщений из 155, страница 1 из 7
Форумы / Просто Трёп [закрыт для гостей] / Дедокластер Z, Поиск: Искать сообщения, созданные автором: basename  
Читали тему (2): Анонимы (2)
Игнорируют тему (1): erbol 
Читали форум (23): Анонимы (12), Гарыныч, Разум вселенной, Green, Ветер 1 мин., s62 1 мин., Sparrow 1 мин., Умник-практикующий 2 мин., IT-Клоп 2 мин., Сталкер 7 мин., Ибрагимов Мага 82 9 мин., Дед-Папыхтет 10 мин.
Пользователи онлайн (30): Анонимы (13), Гарыныч, Разум вселенной, Green, Буся, XEugene, Ветер 1 мин., IT-Клоп 1 мин., s62 1 мин., Sparrow 1 мин., Умник-практикующий 2 мин., Yandex Bot 3 мин., zzdima 6 мин., Сталкер 6 мин., Ибрагимов Мага 82 9 мин., erbol 9 мин., Bing Bot 9 мин., Дед-Папыхтет 10 мин.
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]