powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / Просто Трёп [закрыт для гостей] / Дедокластер Z
Модераторы: basename
25 сообщений из 430, страница 9 из 18
Дедокластер Z
    #767451
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
basename  26.04.2024, 21:20
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
basename  12.04.2024, 19:52
[игнорируется]
Брюквенные годы  12.04.2024, 19:45
[игнорируется]
serg_tmb  12.04.2024, 19:22
[игнорируется]
...
Ну с хапрокси я подсказал:) девопс конфигурил я смотрел на ус мотал для общего развития но конфигурацией и поддержкой не занимался естественно
Почитав материалы, я понял, master master будет проще переключать при необходимости, но в две лучше не писать, в какую-то одну. Master slave - тут хуже.
Нахер тебе master master? Гемора больше и инфра сложнее. Сделал бы стандартный Master slave и не ипал бы мозг.
Sparrow  18.04.2024, 15:09
[игнорируется]
megabyte [игнорируется] 

Базе не ищет лёгких путей. Но Чем сложнее конфигурация , тем больше в ней уязвимостей.

дедофорум отличная площадка для прокачивания
Скиллов, освоения технологий.
провёл краш тест с выключением по кнопке. Всё выжило, гипервизоры, gluster том, кроме марии дб. Бугога. Причем не только кластер сломался, она вообще не захотела стартовать.

не, ну на куй его. Я восстановить не смогу. Либо надо научится делать. но я с этим не работаю, так что учиться не у кого.

Так дел не пойдёт, это ебаная БД - ключевой компонент. А из дампа клон скуля восстанавливать несколько часов.

Что любопытно, текущая БД тоже несколько раз перегружалась, ну может не так жёстко, но аварийно, и поднималась сама.

Будем читать. Да и Деда Марию не тестировал.
Ну если мсскл я бы подсказал - не раз кластера настраивал и там вин сервер... А чо там в линухах не ибу, ну и что мариадб поддерживает из высокой доступности хз.
А чо сколько весит щас бд? Может бэкапить вообще всю виртуалку?
...
Рейтинг: 0 / 0
Дедокластер Z
    #767469
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
Дед-Папыхтет  26.04.2024, 22:08
[игнорируется]
basename  26.04.2024, 21:20
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
basename  12.04.2024, 19:52
[игнорируется]
Брюквенные годы  12.04.2024, 19:45
[игнорируется]
...
Почитав материалы, я понял, master master будет проще переключать при необходимости, но в две лучше не писать, в какую-то одну. Master slave - тут хуже.
Нахер тебе master master? Гемора больше и инфра сложнее. Сделал бы стандартный Master slave и не ипал бы мозг.
Sparrow  18.04.2024, 15:09
[игнорируется]
megabyte [игнорируется] 

Базе не ищет лёгких путей. Но Чем сложнее конфигурация , тем больше в ней уязвимостей.

дедофорум отличная площадка для прокачивания
Скиллов, освоения технологий.
провёл краш тест с выключением по кнопке. Всё выжило, гипервизоры, gluster том, кроме марии дб. Бугога. Причем не только кластер сломался, она вообще не захотела стартовать.

не, ну на куй его. Я восстановить не смогу. Либо надо научится делать. но я с этим не работаю, так что учиться не у кого.

Так дел не пойдёт, это ебаная БД - ключевой компонент. А из дампа клон скуля восстанавливать несколько часов.

Что любопытно, текущая БД тоже несколько раз перегружалась, ну может не так жёстко, но аварийно, и поднималась сама.

Будем читать. Да и Деда Марию не тестировал.
Ну если мсскл я бы подсказал - не раз кластера настраивал и там вин сервер... А чо там в линухах не ибу, ну и что мариадб поддерживает из высокой доступности хз.
А чо сколько весит щас бд? Может бэкапить вообще всю виртуалку?
Ну ос тут точно не причём, да и субд тоже. Субд -форк mysql когда-то, отзываются хорошо, так что тут я виноват, а не кто-то.

Самая большая БД из набора - скуль. Где-то 100+ Гигов ну и старый дедофорум + новый. Не помню сколько может под 25 гигов все вместе.

Я выделил диски по 500 гигов для БД.

Сами виртуалки да, буду бэкапить, конечно, но часто я это делать не смогу.
...
Рейтинг: 0 / 0
Дедокластер Z
    #767470
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
megabyte  18.04.2024, 16:44
[игнорируется]
basename  18.04.2024, 15:32
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
basename  12.04.2024, 19:52
[игнорируется]
Брюквенные годы  12.04.2024, 19:45
[игнорируется]
...
Почитав материалы, я понял, master master будет проще переключать при необходимости, но в две лучше не писать, в какую-то одну. Master slave - тут хуже.
Нахер тебе master master? Гемора больше и инфра сложнее. Сделал бы стандартный Master slave и не ипал бы мозг.
Маster slave сложнее будет. Как переключаться в неё?
В MSSQL, PostgreSQL переключение на реплику делается одной командой. Подозреваю, на MySQL\MariaDB аналогично.
Т.е. это не автоматом.
Чтоб приложуха коннектилась автоматом к нужному серверу, надо что-то типа virtual ip сделать, где подменить реальный ip при падении.
Итого 2 действия.
С учетом, что работа форума 24\7 нахуй не сдалась, при аварии ничего ценного не потеряется, юзеры подождут.
С master-master еще чреваты вопросы поддержки этого хозяйства. Будешь чинить там всякие расщепления данных. + тебе надо будет 3 сервера поднимать, вместо 2х.
p.s. На MySQL работал с готовой репликацией, чинил ее, но вот конкретно переключение на реплику ни разу не приходилось делать.
В качестве третего для galera arbitrator используют, как я почитал, кто не может 3 сделать.

По поводу виртуального ip haproxy + keepalive ( деда дал )

Есть ещё популярное proxysql.

Но! Это все гладко на бумаге и в инструкции, надо иметь опыт. А краш тест показал, что galera кластер я восстановить не смог. А это никуда не годится. Это длительный простой.

Вообще, это же не совсем репликация то.
...
Рейтинг: 0 / 0
Дедокластер Z
    #767560
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
basename  26.04.2024, 21:20
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
basename  12.04.2024, 19:52
[игнорируется]
Брюквенные годы  12.04.2024, 19:45
[игнорируется]
serg_tmb  12.04.2024, 19:22
[игнорируется]
...
Ну с хапрокси я подсказал:) девопс конфигурил я смотрел на ус мотал для общего развития но конфигурацией и поддержкой не занимался естественно
Почитав материалы, я понял, master master будет проще переключать при необходимости, но в две лучше не писать, в какую-то одну. Master slave - тут хуже.
Нахер тебе master master? Гемора больше и инфра сложнее. Сделал бы стандартный Master slave и не ипал бы мозг.
Sparrow  18.04.2024, 15:09
[игнорируется]
megabyte [игнорируется] 

Базе не ищет лёгких путей. Но Чем сложнее конфигурация , тем больше в ней уязвимостей.

дедофорум отличная площадка для прокачивания
Скиллов, освоения технологий.
провёл краш тест с выключением по кнопке. Всё выжило, гипервизоры, gluster том, кроме марии дб. Бугога. Причем не только кластер сломался, она вообще не захотела стартовать.

не, ну на куй его. Я восстановить не смогу. Либо надо научится делать. но я с этим не работаю, так что учиться не у кого.

Так дел не пойдёт, это ебаная БД - ключевой компонент. А из дампа клон скуля восстанавливать несколько часов.

Что любопытно, текущая БД тоже несколько раз перегружалась, ну может не так жёстко, но аварийно, и поднималась сама.

Будем читать. Да и Деда Марию не тестировал.
А какой размер БД?
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Дедокластер Z
    #767565
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
megabyte  27.04.2024, 09:59
[игнорируется]
basename  26.04.2024, 21:20
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
basename  12.04.2024, 19:52
[игнорируется]
Брюквенные годы  12.04.2024, 19:45
[игнорируется]
...
Почитав материалы, я понял, master master будет проще переключать при необходимости, но в две лучше не писать, в какую-то одну. Master slave - тут хуже.
Нахер тебе master master? Гемора больше и инфра сложнее. Сделал бы стандартный Master slave и не ипал бы мозг.
Sparrow  18.04.2024, 15:09
[игнорируется]
megabyte [игнорируется] 

Базе не ищет лёгких путей. Но Чем сложнее конфигурация , тем больше в ней уязвимостей.

дедофорум отличная площадка для прокачивания
Скиллов, освоения технологий.
провёл краш тест с выключением по кнопке. Всё выжило, гипервизоры, gluster том, кроме марии дб. Бугога. Причем не только кластер сломался, она вообще не захотела стартовать.

не, ну на куй его. Я восстановить не смогу. Либо надо научится делать. но я с этим не работаю, так что учиться не у кого.

Так дел не пойдёт, это ебаная БД - ключевой компонент. А из дампа клон скуля восстанавливать несколько часов.

Что любопытно, текущая БД тоже несколько раз перегружалась, ну может не так жёстко, но аварийно, и поднималась сама.

Будем читать. Да и Деда Марию не тестировал.
А какой размер БД?
В конечном итоге 100+ гигов.

Но это из текстового дампа долго восстанавливать. Так-то можно другими методами пойти на новом хостинге.
...
Изменено: 27.04.2024, 10:07 - basename
Рейтинг: 0 / 0
Дедокластер Z
    #767568
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
basename  26.04.2024, 23:39
[игнорируется]
Дед-Папыхтет  26.04.2024, 22:08
[игнорируется]
basename  26.04.2024, 21:20
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
basename  12.04.2024, 19:52
[игнорируется]
...
Нахер тебе master master? Гемора больше и инфра сложнее. Сделал бы стандартный Master slave и не ипал бы мозг.
Sparrow  18.04.2024, 15:09
[игнорируется]
megabyte [игнорируется] 

Базе не ищет лёгких путей. Но Чем сложнее конфигурация , тем больше в ней уязвимостей.

дедофорум отличная площадка для прокачивания
Скиллов, освоения технологий.
провёл краш тест с выключением по кнопке. Всё выжило, гипервизоры, gluster том, кроме марии дб. Бугога. Причем не только кластер сломался, она вообще не захотела стартовать.

не, ну на куй его. Я восстановить не смогу. Либо надо научится делать. но я с этим не работаю, так что учиться не у кого.

Так дел не пойдёт, это ебаная БД - ключевой компонент. А из дампа клон скуля восстанавливать несколько часов.

Что любопытно, текущая БД тоже несколько раз перегружалась, ну может не так жёстко, но аварийно, и поднималась сама.

Будем читать. Да и Деда Марию не тестировал.
Ну если мсскл я бы подсказал - не раз кластера настраивал и там вин сервер... А чо там в линухах не ибу, ну и что мариадб поддерживает из высокой доступности хз.
А чо сколько весит щас бд? Может бэкапить вообще всю виртуалку?
Ну ос тут точно не причём, да и субд тоже. Субд -форк mysql когда-то, отзываются хорошо, так что тут я виноват, а не кто-то.

Самая большая БД из набора - скуль. Где-то 100+ Гигов ну и старый дедофорум + новый. Не помню сколько может под 25 гигов все вместе.

Я выделил диски по 500 гигов для БД.

Сами виртуалки да, буду бэкапить, конечно, но часто я это делать не смогу.
125гб несколько часов восстанавливалось из дампа? Может у тебя с пропускной способностью сети между хранилкой бэкапов и БД затык?
Я недавно БД почли 0.5Тб за 2.5ч отресторил. И это был дамп.

Кстати, может лучше делать физический бэкап, чем дамп? Дамп удобен для другого: переезда между разными версиями там.
Попробуй решение от Percona - XtraBackup. Физическая копия будет быстрее делаться и ресториться, чем дамп.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Дедокластер Z
    #767569
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
basename  26.04.2024, 23:47
[игнорируется]
megabyte  18.04.2024, 16:44
[игнорируется]
basename  18.04.2024, 15:32
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
basename  12.04.2024, 19:52
[игнорируется]
...
Нахер тебе master master? Гемора больше и инфра сложнее. Сделал бы стандартный Master slave и не ипал бы мозг.
Маster slave сложнее будет. Как переключаться в неё?
В MSSQL, PostgreSQL переключение на реплику делается одной командой. Подозреваю, на MySQL\MariaDB аналогично.
Т.е. это не автоматом.
Чтоб приложуха коннектилась автоматом к нужному серверу, надо что-то типа virtual ip сделать, где подменить реальный ip при падении.
Итого 2 действия.
С учетом, что работа форума 24\7 нахуй не сдалась, при аварии ничего ценного не потеряется, юзеры подождут.
С master-master еще чреваты вопросы поддержки этого хозяйства. Будешь чинить там всякие расщепления данных. + тебе надо будет 3 сервера поднимать, вместо 2х.
p.s. На MySQL работал с готовой репликацией, чинил ее, но вот конкретно переключение на реплику ни разу не приходилось делать.
В качестве третего для galera arbitrator используют, как я почитал, кто не может 3 сделать.

По поводу виртуального ip haproxy + keepalive ( деда дал )

Есть ещё популярное proxysql.

Но! Это все гладко на бумаге и в инструкции, надо иметь опыт. А краш тест показал, что galera кластер я восстановить не смог. А это никуда не годится. Это длительный простой.

Вообще, это же не совсем репликация то.
Да я тоже в Магните когда работал, натрахался с этой галерой. Там она система стабильно раз в месяц почему-то падала.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Дедокластер Z
    #767578
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
megabyte  27.04.2024, 10:05
[игнорируется]
basename  26.04.2024, 23:39
[игнорируется]
Дед-Папыхтет  26.04.2024, 22:08
[игнорируется]
basename  26.04.2024, 21:20
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
...
Sparrow  18.04.2024, 15:09
[игнорируется]
...
провёл краш тест с выключением по кнопке. Всё выжило, гипервизоры, gluster том, кроме марии дб. Бугога. Причем не только кластер сломался, она вообще не захотела стартовать.

не, ну на куй его. Я восстановить не смогу. Либо надо научится делать. но я с этим не работаю, так что учиться не у кого.

Так дел не пойдёт, это ебаная БД - ключевой компонент. А из дампа клон скуля восстанавливать несколько часов.

Что любопытно, текущая БД тоже несколько раз перегружалась, ну может не так жёстко, но аварийно, и поднималась сама.

Будем читать. Да и Деда Марию не тестировал.
Ну если мсскл я бы подсказал - не раз кластера настраивал и там вин сервер... А чо там в линухах не ибу, ну и что мариадб поддерживает из высокой доступности хз.
А чо сколько весит щас бд? Может бэкапить вообще всю виртуалку?
Ну ос тут точно не причём, да и субд тоже. Субд -форк mysql когда-то, отзываются хорошо, так что тут я виноват, а не кто-то.

Самая большая БД из набора - скуль. Где-то 100+ Гигов ну и старый дедофорум + новый. Не помню сколько может под 25 гигов все вместе.

Я выделил диски по 500 гигов для БД.

Сами виртуалки да, буду бэкапить, конечно, но часто я это делать не смогу.
125гб несколько часов восстанавливалось из дампа? Может у тебя с пропускной способностью сети между хранилкой бэкапов и БД затык?
Я недавно БД почли 0.5Тб за 2.5ч отресторил. И это был дамп.

Кстати, может лучше делать физический бэкап, чем дамп? Дамп удобен для другого: переезда между разными версиями там.
Попробуй решение от Percona - XtraBackup. Физическая копия будет быстрее делаться и ресториться, чем дамп.
Да. На текущем хостинге, на этом. А он, сравнительно быстрый. Может пров что-то подрезает. Поглядим на новом с физическими серверами. Так-то обхем маленький, но не для стандартного хостинга.

Давно уже я делал через снэпшоты LVM. Механизм в слайдах Оракла нашёл
Суть:
- flush tables with read lock; create snapshot; exit. Не обращайте внимание на блокировку, снэпшот создаётся быстрее, чем что-то успевает записаться, при выходе тут же снимается.
- архивируем директорию с данными, изменения пишутся в снэпшот.
- удаляем снэпшот, изменения сбрасываются в данные

Но так я делал с заббиксом, там терабайт с чем-то был, обычный дамп - очень долго. Всё корректно восстанавливалось + я переносил такой архив на слейв, чтобы репликацию настроить.

Но критиковали этот способ многие.

Я тут ещё вычитал про mariabackup. Это не аналог xtrabckup?
...
Рейтинг: 0 / 0
Дедокластер Z
    #767580
s62
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s62 
Участник
basename  27.04.2024, 10:16
[игнорируется]
Я тут ещё вычитал про mariabackup. Это не аналог xtrabckup?
Я так понял, что это что-то штатное. Делает полный и инкрементный бэкап.
https://mariadb.com/kb/en/full-backup-and-restore-with-mariabackup/

p.s. Да, форк от xtrabckup
https://mariadb.com/kb/en/backup-and-restore-overview/
Цитата 
[игнорируется]
Mariadb-backup is a fork of Percona XtraBackup with added support for MariaDB 10.1 compression and data-at-rest encryption. It is included with MariaDB 10.1.23 and later.
...
Изменено: 27.04.2024, 10:25 - s62
Рейтинг: 1 / 0
Нравится: megabyte
Дедокластер Z
    #767582
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
megabyte  27.04.2024, 10:06
[игнорируется]
basename  26.04.2024, 23:47
[игнорируется]
megabyte  18.04.2024, 16:44
[игнорируется]
basename  18.04.2024, 15:32
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
...
Маster slave сложнее будет. Как переключаться в неё?
В MSSQL, PostgreSQL переключение на реплику делается одной командой. Подозреваю, на MySQL\MariaDB аналогично.
Т.е. это не автоматом.
Чтоб приложуха коннектилась автоматом к нужному серверу, надо что-то типа virtual ip сделать, где подменить реальный ip при падении.
Итого 2 действия.
С учетом, что работа форума 24\7 нахуй не сдалась, при аварии ничего ценного не потеряется, юзеры подождут.
С master-master еще чреваты вопросы поддержки этого хозяйства. Будешь чинить там всякие расщепления данных. + тебе надо будет 3 сервера поднимать, вместо 2х.
p.s. На MySQL работал с готовой репликацией, чинил ее, но вот конкретно переключение на реплику ни разу не приходилось делать.
В качестве третего для galera arbitrator используют, как я почитал, кто не может 3 сделать.

По поводу виртуального ip haproxy + keepalive ( деда дал )

Есть ещё популярное proxysql.

Но! Это все гладко на бумаге и в инструкции, надо иметь опыт. А краш тест показал, что galera кластер я восстановить не смог. А это никуда не годится. Это длительный простой.

Вообще, это же не совсем репликация то.
Да я тоже в Магните когда работал, натрахался с этой галерой. Там она система стабильно раз в месяц почему-то падала.
Тут 99% я плохо доку изучил ))

Вчера потыкался, выключал, включал, удавалось провести процедуру восстановления по доке. Пробовал разные варианты. Ладно, потыкаем ещё.
...
Рейтинг: 0 / 0
Дедокластер Z
    #767790
Просто Трёп
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
basename  27.04.2024, 10:04
[игнорируется]
megabyte  27.04.2024, 09:59
[игнорируется]
basename  26.04.2024, 21:20
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
basename  12.04.2024, 19:52
[игнорируется]
...
Нахер тебе master master? Гемора больше и инфра сложнее. Сделал бы стандартный Master slave и не ипал бы мозг.
Sparrow  18.04.2024, 15:09
[игнорируется]
megabyte [игнорируется] 

Базе не ищет лёгких путей. Но Чем сложнее конфигурация , тем больше в ней уязвимостей.

дедофорум отличная площадка для прокачивания
Скиллов, освоения технологий.
провёл краш тест с выключением по кнопке. Всё выжило, гипервизоры, gluster том, кроме марии дб. Бугога. Причем не только кластер сломался, она вообще не захотела стартовать.

не, ну на куй его. Я восстановить не смогу. Либо надо научится делать. но я с этим не работаю, так что учиться не у кого.

Так дел не пойдёт, это ебаная БД - ключевой компонент. А из дампа клон скуля восстанавливать несколько часов.

Что любопытно, текущая БД тоже несколько раз перегружалась, ну может не так жёстко, но аварийно, и поднималась сама.

Будем читать. Да и Деда Марию не тестировал.
А какой размер БД?
В конечном итоге 100+ гигов.

Но это из текстового дампа долго восстанавливать. Так-то можно другими методами пойти на новом хостинге.
А кроме текстового дампа других способов бэкапа нет? Это же изврат.
...
Рейтинг: 0 / 0
Дедокластер Z
    #767796
IT-Клоп
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Просто Трёп  27.04.2024, 14:35
[игнорируется]
basename  27.04.2024, 10:04
[игнорируется]
megabyte  27.04.2024, 09:59
[игнорируется]
basename  26.04.2024, 21:20
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
...
Sparrow  18.04.2024, 15:09
[игнорируется]
...
провёл краш тест с выключением по кнопке. Всё выжило, гипервизоры, gluster том, кроме марии дб. Бугога. Причем не только кластер сломался, она вообще не захотела стартовать.

не, ну на куй его. Я восстановить не смогу. Либо надо научится делать. но я с этим не работаю, так что учиться не у кого.

Так дел не пойдёт, это ебаная БД - ключевой компонент. А из дампа клон скуля восстанавливать несколько часов.

Что любопытно, текущая БД тоже несколько раз перегружалась, ну может не так жёстко, но аварийно, и поднималась сама.

Будем читать. Да и Деда Марию не тестировал.
А какой размер БД?
В конечном итоге 100+ гигов.

Но это из текстового дампа долго восстанавливать. Так-то можно другими методами пойти на новом хостинге.
А кроме текстового дампа других способов бэкапа нет? Это же изврат.
Физический есть. На надо останавливать базу ))
...
Рейтинг: 0 / 0
Дедокластер Z
    #767802
s62
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
s62 
Участник
IT-Клоп  27.04.2024, 14:52
[игнорируется]
Физический есть. На надо останавливать базу ))
Пишут, что MariaBackup может делать бэкап на ходу (без остановки БД), если используется тип таблиц InnoDB.
https://mariadb.com/kb/en/mariabackup-overview/
...
Изменено: 27.04.2024, 15:12 - s62
Рейтинг: 0 / 0
Дедокластер Z
    #767811
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
Просто Трёп  27.04.2024, 14:35
[игнорируется]
basename  27.04.2024, 10:04
[игнорируется]
megabyte  27.04.2024, 09:59
[игнорируется]
basename  26.04.2024, 21:20
[игнорируется]
megabyte  18.04.2024, 14:57
[игнорируется]
...
Sparrow  18.04.2024, 15:09
[игнорируется]
...
провёл краш тест с выключением по кнопке. Всё выжило, гипервизоры, gluster том, кроме марии дб. Бугога. Причем не только кластер сломался, она вообще не захотела стартовать.

не, ну на куй его. Я восстановить не смогу. Либо надо научится делать. но я с этим не работаю, так что учиться не у кого.

Так дел не пойдёт, это ебаная БД - ключевой компонент. А из дампа клон скуля восстанавливать несколько часов.

Что любопытно, текущая БД тоже несколько раз перегружалась, ну может не так жёстко, но аварийно, и поднималась сама.

Будем читать. Да и Деда Марию не тестировал.
А какой размер БД?
В конечном итоге 100+ гигов.

Но это из текстового дампа долго восстанавливать. Так-то можно другими методами пойти на новом хостинге.
А кроме текстового дампа других способов бэкапа нет? Это же изврат.
Сейчас, наверное, нет. На этом хостинге. Для этого нет ресурсов, вернее они стоят денег.. Даже ALTER TABLE таблицы с постами потребует в 2 раза больше места, места сейчас мало.

На физических серверах будет всё получше, там места ощутимо больше.

Блять, один Деда помнит, как я ебался с восстановлением на ноутбуке, на котором ещё меньше места )))

Касательно бэкапов самой БД мне знаком вышеозвученный способ с LVM снэпшотами. Он быстрый. Не знаю, насколько он будет корректен по отношению к форумной БД и тем более в кластере. Надо проверять.
...
Рейтинг: 0 / 0
Дедокластер Z
    #767815
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
Просто Трёп [игнорируется] 

ещё выше мегабайт озвучил xtrabackup. Слышал, но никогда не делал.
...
Рейтинг: 0 / 0
Дедокластер Z
    #767818
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
basename  27.04.2024, 15:16
[игнорируется]
Просто Трёп  27.04.2024, 14:35
[игнорируется]
basename  27.04.2024, 10:04
[игнорируется]
megabyte  27.04.2024, 09:59
[игнорируется]
basename  26.04.2024, 21:20
[игнорируется]
...
А какой размер БД?
В конечном итоге 100+ гигов.

Но это из текстового дампа долго восстанавливать. Так-то можно другими методами пойти на новом хостинге.
А кроме текстового дампа других способов бэкапа нет? Это же изврат.
Сейчас, наверное, нет. На этом хостинге. Для этого нет ресурсов, вернее они стоят денег.. Даже ALTER TABLE таблицы с постами потребует в 2 раза больше места, места сейчас мало.

На физических серверах будет всё получше, там места ощутимо больше.

Блять, один Деда помнит, как я ебался с восстановлением на ноутбуке, на котором ещё меньше места )))

Касательно бэкапов самой БД мне знаком вышеозвученный способ с LVM снэпшотами. Он быстрый. Не знаю, насколько он будет корректен по отношению к форумной БД и тем более в кластере. Надо проверять.
Ну вот тут подробно описано про озвученный мной метод, я про него читал ещё в слайдах оракла, поэтому решил довериться. Я бэкапил сравнительно большую БД заббикс, там терабайт примерно, которую в те времена дампить и сосать - это анрил полный. Да и бредово.

https://www.percona.com/blog/using-lvm-for-mysql-backup-and-replication-setup/
...
Рейтинг: 0 / 0
Дедокластер Z
    #767856
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
basename  27.04.2024, 15:27
[игнорируется]
basename  27.04.2024, 15:16
[игнорируется]
Просто Трёп  27.04.2024, 14:35
[игнорируется]
basename  27.04.2024, 10:04
[игнорируется]
megabyte  27.04.2024, 09:59
[игнорируется]
...
В конечном итоге 100+ гигов.

Но это из текстового дампа долго восстанавливать. Так-то можно другими методами пойти на новом хостинге.
А кроме текстового дампа других способов бэкапа нет? Это же изврат.
Сейчас, наверное, нет. На этом хостинге. Для этого нет ресурсов, вернее они стоят денег.. Даже ALTER TABLE таблицы с постами потребует в 2 раза больше места, места сейчас мало.

На физических серверах будет всё получше, там места ощутимо больше.

Блять, один Деда помнит, как я ебался с восстановлением на ноутбуке, на котором ещё меньше места )))

Касательно бэкапов самой БД мне знаком вышеозвученный способ с LVM снэпшотами. Он быстрый. Не знаю, насколько он будет корректен по отношению к форумной БД и тем более в кластере. Надо проверять.
Ну вот тут подробно описано про озвученный мной метод, я про него читал ещё в слайдах оракла, поэтому решил довериться. Я бэкапил сравнительно большую БД заббикс, там терабайт примерно, которую в те времена дампить и сосать - это анрил полный. Да и бредово.

https://www.percona.com/blog/using-lvm-for-mysql-backup-and-replication-setup/
Если эта схема продемонстрирует себя приемлимо, то можно забить на этот кластер, настроить master-slave репликацию и бэкапить со слейва.

Правда тут есть некий нюанс, дамп - текстовый файл, бзип, например, его сжимает в больше чем 10 раз. А тут будут бинарные файлы и большой архив, который надо выгружать и хранить

Нашёл скрипт бэкапа, древнющий
Код: BASH
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
#!/bin/bash
#
echo "flush tables with read lock; system lvcreate -L7G -s -n snaplibmysql /dev/sql/varlibmysql;" | mysql -u root -p
mount /dev/sql/snaplibmysql /mnt/snaps/libmysql -o ro
#
/root/scripts/sqlbackup1
#
umount /mnt/snaps/libmysql
lvremove -f /dev/sql/snaplibmysql
#
Смысл вше озвучен
- логинится в БД
- делает блокировку (блокировка не снимается до выхода)
- тут же создаёт снэпшот, прямо из mysql
- вылогинивается (блокировка тут же снимается)
- данные пишутся в снэпшот, пока делается бэкап, тупо архивируется директория
- после окончания снэпшот удаляется, данные сбрасываются в нормальный путь средствами LVM
...
Рейтинг: 0 / 0
Дедокластер Z
    #767871
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
Но наверное, будет правильнее воспользоваться, как мегабайт советовал

https://habr.com/ru/articles/520458/

в марии это уже своя программа, аналогичная

https://mariadb.com/kb/en/percona-xtrabackup-overview/
...
Рейтинг: 0 / 0
Дедокластер Z
    #767872
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
basename  27.04.2024, 10:16
[игнорируется]
megabyte  27.04.2024, 10:05
[игнорируется]
basename  26.04.2024, 23:39
[игнорируется]
Дед-Папыхтет  26.04.2024, 22:08
[игнорируется]
basename  26.04.2024, 21:20
[игнорируется]
...
Ну если мсскл я бы подсказал - не раз кластера настраивал и там вин сервер... А чо там в линухах не ибу, ну и что мариадб поддерживает из высокой доступности хз.
А чо сколько весит щас бд? Может бэкапить вообще всю виртуалку?
Ну ос тут точно не причём, да и субд тоже. Субд -форк mysql когда-то, отзываются хорошо, так что тут я виноват, а не кто-то.

Самая большая БД из набора - скуль. Где-то 100+ Гигов ну и старый дедофорум + новый. Не помню сколько может под 25 гигов все вместе.

Я выделил диски по 500 гигов для БД.

Сами виртуалки да, буду бэкапить, конечно, но часто я это делать не смогу.
125гб несколько часов восстанавливалось из дампа? Может у тебя с пропускной способностью сети между хранилкой бэкапов и БД затык?
Я недавно БД почли 0.5Тб за 2.5ч отресторил. И это был дамп.

Кстати, может лучше делать физический бэкап, чем дамп? Дамп удобен для другого: переезда между разными версиями там.
Попробуй решение от Percona - XtraBackup. Физическая копия будет быстрее делаться и ресториться, чем дамп.
Да. На текущем хостинге, на этом. А он, сравнительно быстрый. Может пров что-то подрезает. Поглядим на новом с физическими серверами. Так-то обхем маленький, но не для стандартного хостинга.

Давно уже я делал через снэпшоты LVM. Механизм в слайдах Оракла нашёл
Суть:
- flush tables with read lock; create snapshot; exit. Не обращайте внимание на блокировку, снэпшот создаётся быстрее, чем что-то успевает записаться, при выходе тут же снимается.
- архивируем директорию с данными, изменения пишутся в снэпшот.
- удаляем снэпшот, изменения сбрасываются в данные

Но так я делал с заббиксом, там терабайт с чем-то был, обычный дамп - очень долго. Всё корректно восстанавливалось + я переносил такой архив на слейв, чтобы репликацию настроить.

Но критиковали этот способ многие.

Я тут ещё вычитал про mariabackup. Это не аналог xtrabckup?
Не пользовался, не в курсе. Думаю, гугл ответит.
А диски какие: hdd, ssd?
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Дедокластер Z
    #767873
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
s62  27.04.2024, 15:11
[игнорируется]
IT-Клоп  27.04.2024, 14:52
[игнорируется]
Физический есть. На надо останавливать базу ))
Пишут, что MariaBackup может делать бэкап на ходу (без остановки БД), если используется тип таблиц InnoDB.
https://mariadb.com/kb/en/mariabackup-overview/
Ну если дедофорум до сих пор на MyIsam, эт песдец))
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Дедокластер Z
    #767874
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
basename  27.04.2024, 15:25
[игнорируется]
Просто Трёп [игнорируется] 

ещё выше мегабайт озвучил xtrabackup. Слышал, но никогда не делал.
Бэкап LVM - не для задачи рестора БД. БД лучше бэкапить ее средствами.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных..
Рейтинг: 0 / 0
Дедокластер Z
    #768427
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
megabyte  27.04.2024, 16:21
[игнорируется]
s62  27.04.2024, 15:11
[игнорируется]
IT-Клоп  27.04.2024, 14:52
[игнорируется]
Физический есть. На надо останавливать базу ))
Пишут, что MariaBackup может делать бэкап на ходу (без остановки БД), если используется тип таблиц InnoDB.
https://mariadb.com/kb/en/mariabackup-overview/
Ну если дедофорум до сих пор на MyIsam, эт песдец))
InnoDB.
...
Рейтинг: 0 / 0
Дедокластер Z
    #768439
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
Ещё моменты:
- вся конструкция стартует примерно минут 30 до возможности предоставления сервиса
- при старте требуется вмешательство администратора, то есть, порядок запуска

Что-то можно автоматизировать, но в некоторых случаях вмешательство всё-таки может потребоваться. Так вот, для галеры, как известно нужно три узла для нормального состояния работы и два узла чтобы СУБД обрабатывала запросы, ну то есть это аварийное состояние, практически, пока не войдёт в работы третий узел. Да, можно решить проблему арбитром, как я выше писал, то есть фейковая нода только для оркестрации. Решение применяется, популярно, в доке описано. Всё бы хорошо, но у нас физически два узла, то есть, арбитр и одну ноду субд нужно разместить на одном физическом узле. Если узел перезагрузиться и останется одна рабочая нода - кластер развалится и самостоятельно не соберётся. он вообще развливается если всё выключить, надо заново инициализировать.

Но и в том случае, если просто одна нода субд или репликация мастер-слэйв и епнется нода с мастером, тоже ни куя работать не будет.

Что всё это значит.

При нештатной перезагрузке хотя бы одного физического узла кластера - неработоспособность форумов. 50 на 50. А с учётом того, что я могу сидеть на объекте за периметром, без интернета вообще или ещё чего-нибудь, форумы могут не работать куй знает сколько времени, пока я не починю конструкцию.

Так то.

Сейчас просто виртуалка у хостера автоматом стартует если что вдруг и всё ок. Может, конечно, что-нибудь отвалится, но пока всё норм было.
...
Изменено: 28.04.2024, 15:55 - basename
Рейтинг: 0 / 0
Дедокластер Z
    #768446
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
basename  28.04.2024, 15:54
[игнорируется]
Ещё моменты:
- вся конструкция стартует примерно минут 30 до возможности предоставления сервиса
- при старте требуется вмешательство администратора, то есть, порядок запуска

Что-то можно автоматизировать, но в некоторых случаях вмешательство всё-таки может потребоваться. Так вот, для галеры, как известно нужно три узла для нормального состояния работы и два узла чтобы СУБД обрабатывала запросы, ну то есть это аварийное состояние, практически, пока не войдёт в работы третий узел. Да, можно решить проблему арбитром, как я выше писал, то есть фейковая нода только для оркестрации. Решение применяется, популярно, в доке описано. Всё бы хорошо, но у нас физически два узла, то есть, арбитр и одну ноду субд нужно разместить на одном физическом узле. Если узел перезагрузиться и останется одна рабочая нода - кластер развалится и самостоятельно не соберётся. он вообще развливается если всё выключить, надо заново инициализировать.

Но и в том случае, если просто одна нода субд или репликация мастер-слэйв и епнется нода с мастером, тоже ни куя работать не будет.

Что всё это значит.

При нештатной перезагрузке хотя бы одного физического узла кластера - неработоспособность форумов. 50 на 50. А с учётом того, что я могу сидеть на объекте за периметром, без интернета вообще или ещё чего-нибудь, форумы могут не работать куй знает сколько времени, пока я не починю конструкцию.

Так то.

Сейчас просто виртуалка у хостера автоматом стартует если что вдруг и всё ок. Может, конечно, что-нибудь отвалится, но пока всё норм было.
В общем, объективно я затеял хуйню. Для этой конструкции нужна оперативная поддержка, которую я предоставить не могу.
...
Рейтинг: 0 / 0
Дедокластер Z
    #768450
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
basename  28.04.2024, 16:12
[игнорируется]
basename  28.04.2024, 15:54
[игнорируется]
Ещё моменты:
- вся конструкция стартует примерно минут 30 до возможности предоставления сервиса
- при старте требуется вмешательство администратора, то есть, порядок запуска

Что-то можно автоматизировать, но в некоторых случаях вмешательство всё-таки может потребоваться. Так вот, для галеры, как известно нужно три узла для нормального состояния работы и два узла чтобы СУБД обрабатывала запросы, ну то есть это аварийное состояние, практически, пока не войдёт в работы третий узел. Да, можно решить проблему арбитром, как я выше писал, то есть фейковая нода только для оркестрации. Решение применяется, популярно, в доке описано. Всё бы хорошо, но у нас физически два узла, то есть, арбитр и одну ноду субд нужно разместить на одном физическом узле. Если узел перезагрузиться и останется одна рабочая нода - кластер развалится и самостоятельно не соберётся. он вообще развливается если всё выключить, надо заново инициализировать.

Но и в том случае, если просто одна нода субд или репликация мастер-слэйв и епнется нода с мастером, тоже ни куя работать не будет.

Что всё это значит.

При нештатной перезагрузке хотя бы одного физического узла кластера - неработоспособность форумов. 50 на 50. А с учётом того, что я могу сидеть на объекте за периметром, без интернета вообще или ещё чего-нибудь, форумы могут не работать куй знает сколько времени, пока я не починю конструкцию.

Так то.

Сейчас просто виртуалка у хостера автоматом стартует если что вдруг и всё ок. Может, конечно, что-нибудь отвалится, но пока всё норм было.
В общем, объективно я затеял хуйню. Для этой конструкции нужна оперативная поддержка, которую я предоставить не могу.
кластеру хана?
...
дед-пердед
Рейтинг: 0 / 0
25 сообщений из 430, страница 9 из 18
Форумы / Просто Трёп [закрыт для гостей] / Дедокластер Z
Модераторы: basename
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (2): Анонимы (2)
Игнорируют тему (1): erbol
Читали форум (36): Анонимы (24), kkk-jjj, Ветер, Кусь, s62 2 мин., IT-Клоп 2 мин., Sparrow 2 мин., 9288 2 мин., XEugene 2 мин., sergey11 5 мин., Green 5 мин., Arn 7 мин., cat2 9 мин.
Пользователи онлайн (43): Анонимы (26), kkk-jjj, 9288, Bing Bot, Ветер, Кусь, Yandex Bot 1 мин., s62 2 мин., IT-Клоп 2 мин., Sparrow 2 мин., XEugene 2 мин., CerebroSQL 3 мин., Green 3 мин., sergey11 5 мин., Буся 5 мин., Arn 7 мин., anonymous 8 мин., cat2 9 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]