|
Просто Трёп / Дедокластер Z
#719696
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
Ссылка на вложение 2:
Ссылка на вложение 3:
|
||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
Вы думаете я забыл? Нет! Сегодня обсуждался вопрос организации отказоустойчивого кластера Дедофорума. Скоро должны смонтировать оборудование, приступлю к развёртыванию, погоняю. Планируемые вычислительные ресурсы: - 2 узла - 24 ядра - 144 гб озу - примерно 6 тб полезного дискового пространства в 5 рейде с хот спаре - рейд контроллеры с батарейкой - 10 гбит/с между узлами для миграции ВМ - 200 мб/с канал в инет Для виртуализации буду использовать, скорее всего, Альт виртуализацию. ( но ещё думаю по поводу Ред виртуализации, но она сложнее, более громоздкая, лишнее, наверное)Для гостевых ВМ - РедОС Это обеспечит высокую доступность и минимизацию даунтайма при выполнении работ по обновлению ОС. ... |
||||||||||||||||||||||
:
Нравится:
Не нравится:
|
||||||||||||||||||||||
10.02.2024, 20:47 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
В целом по работам все понятно. Пока не знаю, только, как сделать схему primary standby с автопереключением для СУБД. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2024, 20:49 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
basename [игнорируется] Дружище, расслабся) Всё уже придумали) Просто рисуй картинки и пости их находу) Не нужно ни регистрации, ни логина, ни пароля) Просто рисуешь и тут же можешь выложить) https://slog.ge/ Сссылка на скачивание вверху страницы) И можешь отдыхать) Пусть рисуют, чертят чертежи) А ты будешь с умным видом потом рассматривать их чертежи и раздавать советы! Не упусти такой шанс! Он бывает раз в жизни!)) ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2024, 20:58 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Если честно, то всем насрать. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2024, 20:58 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
В целом по работам все понятно. Пока не знаю, только, как сделать схему primary standby с автопереключением для СУБД. Погуглил примеры, в подобной реализации слишком большое усложнение и этих ресурсов тоже не хватит уже. Вообще, хотелось бы на один писать, с другого читать. Но тоже усложнение. Пока думаю схему с переключением. Хз, как добиться отказоустойчивость для Субд в случае 2-х узлов. Ну, то есть, надо не сильно усложнять, чтобы при необходимости можно было съехать обратно на хостинг, как сейчас, но и использовать ресурсы для, так сказать, зеркалирования. Например, обновляю гипервизор. Машины с одного отправил на другой, обновил первый, потом отправил со второго на первый, обновил второй, потом снова разогнал машины по двум. Вы ничего не заметили вообще. С обновлением самих машин уже посложнее, но мне знакомо хорошо Но непонятки с субд. Если я обновляю primary - это даунтайм. нужно легким движением пальца пнуть MySQL, чтобы переключился primary в standby и переключился накат логов обратно. Чтобы вы опять ничего не заметили. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2024, 22:38 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Все нормально. Ничего плохого не творится :) Вот с DB надо понять. Иначе это место простоя и в реализации схемы нет смысла. Split read-write, конечно, очень хочется. Остальное все знаю как закластеризовать и зафэйловерить. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2024, 22:58 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Ну я тоже гуглил. Либо очень ресурсоемко, сложно, но полностью HA, либо на коленке, скриптами, с костылями. Просто, на всякий случай спросил, может кто делал. Репликация понятно, дело не сложное, но смысл в ней, если нет автоматизированной схемы переключения в случае аварии. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2024, 23:04 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
А зачем такое для полторы калеки? ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2024, 23:43 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
С БД жесть. Может это и не сложно, но я никогда не делал. https://docs.oracle.com/en/solutions/ha-mysql-innodb-cluster/index.html#GUID-9F8C3C85-FBA4-47D9-BEAA-036532076771 https://www.percona.com/blog/failover-mysql-utilities-part1-mysqlrpladmin/ https://www.percona.com/blog/failover-mysql-utilities-part-2-mysqlfailover/ Второй варик попроще, но точкой отказа становится сам mysqlfailover, либо надо понять, можно ли запустить 2 экземпляра на 2-х кластеризованных серверах веб-приложений. Если да, то подойдёт. Ну а по правильному надо городить конструкцию по первой ссылке. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.02.2024, 06:35 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
А зачем такое для полторы калеки? - от столба и до обеда - главное, чтоб вы не снег очистили, а чтоб заебались :) Что-то вроде этого ... |
|||
:
Нравится:
Не нравится:
|
|||
11.02.2024, 07:13 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Пока планирование следующее Гипервизоры. Кластер (HA) pve1 pve2 Будут соблюдены: Mgmt Plane, Control Plane, Data Plane VM ##### Роутеры (HA): rt1 rt2 # Абонентский пункт администратора: srv-adm # Хранилище (shared storage) для инфраструктуры ВМ (HA) gluster-arbiter gluster-fs1 gluster-fs2 # Веб-сервера доступа внешнего контура (HA) (LB) nginx1 nginx2 # Сервера приложений (Дедофорум и форумы) (HA) (LB) apache1 apache2 # Сервис монитторинга (HA) zabbix zabbix-proxy1 zabbix-proxy2 # СУБД (???) DB1 DB2 # Сервер разработки gitlab # Сервер Кролика kroleg ... |
|||
:
Нравится:
Не нравится:
|
|||
11.02.2024, 07:52 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Надо разобраться с субд. Буду читать ... |
|||
:
Нравится:
Не нравится:
|
|||
11.02.2024, 07:54 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Но взлететь мало! Потом ебанись это все поддерживать, бугога)) ... |
|||
:
Нравится:
Не нравится:
|
|||
11.02.2024, 07:55 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
В целом по работам все понятно. Пока не знаю, только, как сделать схему primary standby с автопереключением для СУБД. Погуглил примеры, в подобной реализации слишком большое усложнение и этих ресурсов тоже не хватит уже. Вообще, хотелось бы на один писать, с другого читать. Но тоже усложнение. Пока думаю схему с переключением. Хз, как добиться отказоустойчивость для Субд в случае 2-х узлов. Ну, то есть, надо не сильно усложнять, чтобы при необходимости можно было съехать обратно на хостинг, как сейчас, но и использовать ресурсы для, так сказать, зеркалирования. Например, обновляю гипервизор. Машины с одного отправил на другой, обновил первый, потом отправил со второго на первый, обновил второй, потом снова разогнал машины по двум. Вы ничего не заметили вообще. С обновлением самих машин уже посложнее, но мне знакомо хорошо Но непонятки с субд. Если я обновляю primary - это даунтайм. нужно легким движением пальца пнуть MySQL, чтобы переключился primary в standby и переключился накат логов обратно. Чтобы вы опять ничего не заметили. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.02.2024, 08:05 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Смысл в отказоустойчивости. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.02.2024, 08:05 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Руками переключать? А с автофейловером - он ведь может и не отработать корректно. Обычная репликация проще, поэтому надежнее. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.02.2024, 08:30 |
|
Просто Трёп / Дедокластер Z
#719969
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
|
||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
Так это как раз проблема master-master. А если реплика readonly, но никаких проблем не должно быть, кроме отставания данных по репликации. Лаг репликации надо мониторить. НО! При этом, получается, селекты пользака обрабатывает slave, а апдейты, инсерты и т.д - master. ... |
||||||||||||||||
:
Нравится:
Не нравится:
|
||||||||||||||||
11.02.2024, 13:13 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Так это как раз проблема master-master. А если реплика readonly, но никаких проблем не должно быть, кроме отставания данных по репликации. Лаг репликации надо мониторить. НО! При этом, получается, селекты пользака обрабатывает slave, а апдейты, инсерты и т.д - master. 2. С автофайловером выяснили, не для нубья, то есть, не для меня, и гладко там на бумаге, хотя может тоже эффективный инструмент в руках профессионала. 3. Настроить репликацию с последующим ручным переключением - не вопрос. Настрою. Но я бы хотел утилизировать вычислительные мощности, отданные slave, чтобы не только master всё делал, а slave простаивал, но и slave что-то делал. Как-то так https://syntaxbug.com/26e5ac0907/ Но нюансы последнего пунтка мне неизвестны. Вот, например, нашёл статью, хоть и старую, начинают закрадываться сомнения, что я правильно смогу настроить https://www.percona.com/sites/default/files/presentations/Read Write Split.pdf А вот, кстати, что-то новенькое впендюрили https://dev.mysql.com/blog-archive/mysql-8-2-transparent-read-write-splitting/ ... |
|||
:
Изменено: 11.02.2024, 13:32 - basename
Нравится:
Не нравится:
|
|||
11.02.2024, 13:30 |
|
Просто Трёп / Дедокластер Z
#719980
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
|
||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
... |
||||||||||||||||
:
Нравится:
Не нравится:
|
||||||||||||||||
11.02.2024, 13:35 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
А что скажешь по поводу конфигурации split read/write? MySQL позволяет делать горячие бекапы? Тогда делай их регулярно, в случае аварии всегда восстановишься. И не надо тебе поднимать реплику, да ещё и постоянно мониторить её лаг. Лучше бекап сделай, небольшой простой форума тебе не критичен, здесь и так при каждом патче всё замирает до рассвета. - репликация простая, совсем, мне никак не помешает в штатном варианте, но тут речь про то, что я хочу усложнить, перераспледелив запросы - по идее данных мало, ресурсов достаточно, линк между узлами 10гбит, нечему там отставать, но да, знаю, ломается на ровном месте репликация, сталкивался, чинил, давно, правда было, ещё в 5 mysql. Думаю, щас оракле её вылизал от глюков - патчи уже два месяц как применяются без остановки, самые долги были связаны с изменением структуры хранилища картинок, и то, изменения быстро накатились, было необходимо синхронизировать с яндексом, это было очень долго - бэкапы делаются каждый день, бэкапов валяется за 2 года - на простой мне вообще по фиг ))) но надо красиво ) ... |
|||
:
Нравится:
Не нравится:
|
|||
11.02.2024, 14:41 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Понятно, тебе поиграться значит надо. ... |
|||
:
Нравится:
Не нравится:
|
|||
11.02.2024, 14:42 |
|
Просто Трёп / Дедокластер Z
|
|
---|---|
#18+
У меня 1 вопрос? Зачем? Имхо делать бакапы раз в сутки достаточно . Ну потеряешь одноин день, контингент и не заметит. Или чисто для своих скиллов,? Но это бабло? ... |
|
:
|
|
11.02.2024, 22:40 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
При любом переключении, будет потеря коннекта на сервер бд ... |
|||
:
Изменено: 11.02.2024, 22:59 - basename
Нравится:
Не нравится:
|
|||
11.02.2024, 22:43 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
А что скажешь по поводу конфигурации split read/write? MySQL позволяет делать горячие бекапы? Тогда делай их регулярно, в случае аварии всегда восстановишься. И не надо тебе поднимать реплику, да ещё и постоянно мониторить её лаг. Лучше бекап сделай, небольшой простой форума тебе не критичен, здесь и так при каждом патче всё замирает до рассвета. - репликация простая, совсем, мне никак не помешает в штатном варианте, но тут речь про то, что я хочу усложнить, перераспледелив запросы - по идее данных мало, ресурсов достаточно, линк между узлами 10гбит, нечему там отставать, но да, знаю, ломается на ровном месте репликация, сталкивался, чинил, давно, правда было, ещё в 5 mysql. Думаю, щас оракле её вылизал от глюков - патчи уже два месяц как применяются без остановки, самые долги были связаны с изменением структуры хранилища картинок, и то, изменения быстро накатились, было необходимо синхронизировать с яндексом, это было очень долго - бэкапы делаются каждый день, бэкапов валяется за 2 года - на простой мне вообще по фиг ))) но надо красиво ) ... |
|||
:
Нравится:
Не нравится:
|
|||
11.02.2024, 22:44 |
|
|
Start [/forum/search.php?do_search=1&tid=16227&author_mode=wrote_post&author=basename&start_from=719969]: |
0ms |
get settings: |
0ms |
get forum list: |
6ms |
searching: |
26ms |
get settings: |
1ms |
get forum list: |
5ms |
get topic data: |
9ms |
check forum access: |
1ms |
check topic access: |
1ms |
get forum data: |
1ms |
get found posts: |
85ms |
track hit: |
27ms |
get online users: |
73ms |
check new: |
1ms |
others: | 278ms |
total: | 514ms |
0 / 0 |