|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
В целом по работам все понятно. Пока не знаю, только, как сделать схему primary standby с автопереключением для СУБД. Нахуй для 10 пользователей ПТ столько ресурсов и кластер? )))) ... |
|||
:
Нравится:
Не нравится:
|
|||
16.04.2024, 16:59 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
... Нахуй для 10 пользователей ПТ столько ресурсов и кластер? )))) самое интересное будет, если при этом наебнётся то, что есть. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.04.2024, 19:56 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Почитав материалы, я понял, master master будет проще переключать при необходимости, но в две лучше не писать, в какую-то одну. Master slave - тут хуже.
провёл краш тест с выключением по кнопке. Всё выжило, гипервизоры, gluster том, кроме марии дб. Бугога. Причем не только кластер сломался, она вообще не захотела стартовать. не, ну на куй его. Я восстановить не смогу. Либо надо научится делать. но я с этим не работаю, так что учиться не у кого. Так дел не пойдёт, это ебаная БД - ключевой компонент. А из дампа клон скуля восстанавливать несколько часов. Что любопытно, текущая БД тоже несколько раз перегружалась, ну может не так жёстко, но аварийно, и поднималась сама. Будем читать. Да и Деда Марию не тестировал. А чо сколько весит щас бд? Может бэкапить вообще всю виртуалку? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.04.2024, 22:08 |
|
Просто Трёп / Дедокластер Z
|
|
---|---|
#18+
А что, так трудно отказаться от этой Марии? Почему на нормальную СУБД не перелезть? Хостинг MS SQL Server вряд ли базя осилит, это дороговато будет. ... |
|
:
|
|
03.05.2024, 12:55 |
|
Просто Трёп / Дедокластер Z
|
|
---|---|
#18+
Папых, а ты с Гладченко общался? ... |
|
:
|
|
03.05.2024, 13:49 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Код: SQL 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
03.05.2024, 14:45 |
|
Просто Трёп / Дедокластер Z
|
|
---|---|
#18+
https://habr.com/ru/articles/237889/ Когда библиотека-фреймворк код языка программирования процецирует в БД - в БД явно не нужно писать запросы и процедуры, а только в самом ЯП писать код. Плюсы - быстрая смена СУБД без переписи чего либо. Минусы - с ростом проекта и базы данных запросы сформированные с помощью ORM начинают безбожно тормозить и в итоге начинают привлекать для оптимизации базистов, запросы упихивать в процедуры-функции СУБД, а из кода си шарп или джавы или еще чего там не запрос ORM а упрощенный вызов процедуры. В общем... на старте ORM хорош, но как только БД проекта становится большой и еле шевелится - отказываются от этой затеи ... |
|
:
|
|
03.05.2024, 15:11 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Прости , умная всегда была тройка, по письменности, вообще левша ... |
|||
:
Нравится:
Не нравится:
|
|||
03.05.2024, 18:35 |
|
Просто Трёп / Дедокластер Z
|
|
---|---|
#18+
Что-то не выровненный рейд. Лишние iops сделал, которых мог бы избежать... 5 рейд уж делал бы из 5 дисков 4 данные один четность контрольный бит. Или рейд6 - 4 данные и 2 диска под четность все 6 бы задействовал, полезного места меньше на 20% но скорость выше да и 6 рейд не деградирует при отказе одного харда ... |
|
:
|
|
07.05.2024, 12:05 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Что-то не выровненный рейд. Лишние iops сделал, которых мог бы избежать... 5 рейд уж делал бы из 5 дисков 4 данные один четность контрольный бит. Или рейд6 - 4 данные и 2 диска под четность все 6 бы задействовал, полезного места меньше на 20% но скорость выше да и 6 рейд не деградирует при отказе одного харда ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 12:14 |
|
Просто Трёп / Дедокластер Z
|
|
---|---|
#18+
basename [игнорируется] Кстати .. теория 95% чтение 5% запись норм 5 рейд так себе... Помню в инфотекс теровая база на 5 рейде подтормаживала... Даже файлы с данными. В общем перевели на 10й рейд и перформанс сильно вырос - лаги ушли. Ну и... Общие рекомендации транлог бд на одни физ диски типа рейд1 причем можно все транлоги на 1 рейд1 одного сервера бд, а файлы бд с данными на отдельный/отдельные. Понятно затратное... Может щас и не актуально https://intuit.ru/studies/courses/68/68/lecture/1992 ... |
|
:
|
|
07.05.2024, 12:19 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Да ладно. Небось ща диски sas/ssd, там похер какой рейд. Если харды шпиндельные, то 10ка да лучше ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 12:27 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
ну и ещё деградировавшая система и пересобирающаяся RAID 5 -это самый тормоз. Гораздо хуже деградировавшего зеркала. RAID 5 - RAID для бедных (учитывая, что и само понятие RAID подразумевает "для бедных" в своём названии) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 12:28 |
|
Просто Трёп / Дедокластер Z
|
|
---|---|
#18+
basename [игнорируется] Кстати .. теория 95% чтение 5% запись норм 5 рейд так себе... Помню в инфотекс теровая база на 5 рейде подтормаживала... Даже файлы с данными. В общем перевели на 10й рейд и перформанс сильно вырос - лаги ушли. Ну и... Общие рекомендации транлог бд на одни физ диски типа рейд1 причем можно все транлоги на 1 рейд1 одного сервера бд, а файлы бд с данными на отдельный/отдельные. Понятно затратное... Может щас и не актуально https://intuit.ru/studies/courses/68/68/lecture/1992 ... |
|
:
|
|
07.05.2024, 13:08 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
активость базы у тебя OLTP. Клопег вот тебе этот пост написал, это несколько байт. И другие охламоны написали, в рандомное время, по чуть-чуть. И база всё это шуршит, сперва в журнал транзакций, потом в дата файлы, по чекпойнту, да ещё и в датафайлах разбрасывает в свободные дырки, ну это в зависимости от филлфакторов и прочей перди. Так что работа базы тут - это движения тысяч маленьких ножек огромной сороконожки. read and write speeds for large files - это про ETL процессы, когда десятки терабайт в базу загоняются одним куском. Цитата [игнорируется] RAID 6 — массив из четырёх или более дисков с проверкой чётности P+Q или DP, разработанный для защиты от потери данных при выходе из строя сразу двух жестких дисков в массиве. Такая надёжность достигается за счёт снижения производительности и уменьшения ёмкости — для восстановления информации нужно провести две вычислительные операции, и два диска в массиве используются не для хранения данных, а для контроля их целостности и восстановления при сбоях. За счёт двух дисков избыточности он имеет более высокую степень надёжности. Среди дисковых массивов RAID 6 — самый надёжный, но и самый медленный. Скорость записи данных в массиве RAID 6 заметно, до 50 % ниже, чем в RAID 5 даже на целом массиве RAID 6, скорость чтения при этом у RAID 6 P+Q не сильно отличается от таковой у RAID 5 и RAID 10[3]. RAID 6 требует не менее четырёх дисков — два или более дисков данных и два диска контроля чётности[3]. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 16:50 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
... И другие охламоны написали, в рандомное время, по чуть-чуть. И база всё это шуршит, сперва в журнал транзакций, потом в дата файлы, по чекпойнту, да ещё и в датафайлах разбрасывает в свободные дырки, ну это в зависимости от филлфакторов и прочей перди. Так что работа базы тут - это движения тысяч маленьких ножек огромной сороконожки. read and write speeds for large files - это про ETL процессы, когда десятки терабайт в базу загоняются одним куском. Цитата [игнорируется] RAID 6 — массив из четырёх или более дисков с проверкой чётности P+Q или DP, разработанный для защиты от потери данных при выходе из строя сразу двух жестких дисков в массиве. Такая надёжность достигается за счёт снижения производительности и уменьшения ёмкости — для восстановления информации нужно провести две вычислительные операции, и два диска в массиве используются не для хранения данных, а для контроля их целостности и восстановления при сбоях. За счёт двух дисков избыточности он имеет более высокую степень надёжности. Среди дисковых массивов RAID 6 — самый надёжный, но и самый медленный. Скорость записи данных в массиве RAID 6 заметно, до 50 % ниже, чем в RAID 5 даже на целом массиве RAID 6, скорость чтения при этом у RAID 6 P+Q не сильно отличается от таковой у RAID 5 и RAID 10[3]. RAID 6 требует не менее четырёх дисков — два или более дисков данных и два диска контроля чётности[3]. ну то есть если сектор диска 512 байтов, у тебя рейд5 из 5 дисков, один на четность 4 полезных, 4 * 512 = 2048 байтов. ты можешь сделать в ext4/ntfs размер кластера 2048 или выше и будет обращение одновременно к 1му или более страйпу. если у тебя 6 дисков райд5, то у тебя страйп будет 5 * 512, всегда будет сохраняться сектор когда файловой системы один и тот же страйп будет дергаться лишний раз ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 16:56 |
|
Просто Трёп / Дедокластер Z
|
|
---|---|
#18+
Из 6 дисков я бы наверное сделал рейд10 из 4х дисков и рейд1 из оставшихся 2х... максимальная производительность. транлог и ос на рейд1 воткнул бы... а бд на рейд 10 ... |
|
:
|
|
07.05.2024, 16:59 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
... Наилучшая производительность i/o достигается, когда размер блока базы данных равен размеру блока файловой системы или кратен ему, К виртуалке можно примапить с уже с любого диска файл-диск для виртуалбокс тот же а этот файл на локальном диске или каком то рейде лежит. это одно. а можно до виртуалки на контроллере физически собрать рейды из физических дисков и уже эти диски презентовать любой из виртуалок - эксклюзивный доступ будет ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 19:23 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Немного не понял, физические всмысле прокинуты в виртуалку? нет, не такие. Просто виртуальный диск. Ну ты создавал же наверняка виртуалки, хоть в virtual box, ну вот там что-то типа такого же. К виртуалке можно примапить с уже с любого диска файл-диск для виртуалбокс тот же а этот файл на локальном диске или каком то рейде лежит. это одно. а можно до виртуалки на контроллере физически собрать рейды из физических дисков и уже эти диски презентовать любой из виртуалок - эксклюзивный доступ будет - 2 диска по 480 гигов, в raid 1 под сам гипервизор - 6 дисков по терабайту. Из них 5 в raid 5 + 1 hotspare На томе raid 5 расположены сами в виртуалки. Ну, то есть, их виртуальные диски там лежат. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 19:43 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
Немного не понял, физические всмысле прокинуты в виртуалку? нет, не такие. Просто виртуальный диск. Ну ты создавал же наверняка виртуалки, хоть в virtual box, ну вот там что-то типа такого же. К виртуалке можно примапить с уже с любого диска файл-диск для виртуалбокс тот же а этот файл на локальном диске или каком то рейде лежит. это одно. а можно до виртуалки на контроллере физически собрать рейды из физических дисков и уже эти диски презентовать любой из виртуалок - эксклюзивный доступ будет - 2 диска по 480 гигов, в raid 1 под сам гипервизор - 6 дисков по терабайту. Из них 5 в raid 5 + 1 hotspare На томе raid 5 расположены сами в виртуалки. Ну, то есть, их виртуальные диски там лежат. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 19:46 |
|
Просто Трёп / Дедокластер Z
|
|||
---|---|---|---|
#18+
... К виртуалке можно примапить с уже с любого диска файл-диск для виртуалбокс тот же а этот файл на локальном диске или каком то рейде лежит. это одно. а можно до виртуалки на контроллере физически собрать рейды из физических дисков и уже эти диски презентовать любой из виртуалок - эксклюзивный доступ будет - 2 диска по 480 гигов, в raid 1 под сам гипервизор - 6 дисков по терабайту. Из них 5 в raid 5 + 1 hotspare На томе raid 5 расположены сами в виртуалки. Ну, то есть, их виртуальные диски там лежат. У меня обычная виртуализация и большой том raid используется для хранения виртуальных дисков виртуальных машин. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 23:58 |
|
Просто Трёп / Дедокластер Z
|
|
---|---|
#18+
Про хранение БД... По классике у БД есть файлы транлога и файлы с данными. 1. файлы транлога - 99% это последовательная запись и сохранение в ОЗУ этих данных, чтение происходит при откатах транзакций и при старте - дочитка из транлога того, что не успело записаться в файлы данных. То есть рекомендуют транлог выносить на отдельный raid1/10 ибо транлог важен, его важно не проебать когда рейд вылетит иначе привет восстановление из бэкапа с проебом данных и максимум скорости для линейной записи. Если туда ткнуть еще какие то данные которые читаться будут то скорость записи будет нихуя не линейной будет рандомное чтение и скорость записи просядет. Кстати в случае кластеров или репликаций, чуть ли не всегда реализована передача транлога с основного сервера на резервный по сети. 2. файлы данных туда запись идет фоном раз в 30 сек - 1 минута фоновыми процессами, то есть запись редкая, но идет чтение с разных таблиц. Ну... типа рейд5/6 пишут норм, но если много всякого чтения, то 10ка лучше чем 5ка. Основной лейт-мотив - предаставь транлогу отдельные диски которые не будет трогать другие процессы, места много транлогу не нужно там и 100гб хватит. была бы пара дисков быстрых по 300гб из них собрал рейд1 отдал транлогу и збсь было бы. Ну и... размер кластера файловой системы можно сделать наверное небольшим 1-2кб, хотя я бы не парился сделал бы 8кб - равный размеру страницы. Для файла данных рейд5 или рейд10 размер кластера файловой системы не меньше размера страницы в постгрес 8кб, можно менять если пересобирать из исходников, в оракл тоже вроде можно и 64кб сделать - хз кто этим заморачивается или всем похуй оставляют по умолчанию 8кб. В мсскл есть еще такая хуйня как экстенты - 8 страниц то есть 64кб, обычно майкрасофт скл пишет минимум 1 экстент, бэкапы точно читает экстентами минимум (64кб). Как в mysql не ебу честно... В общем для раздела где будут лежать файлы БД, я бы ебанул райд5/6 а лучше райд1/10 и размер кластера файловой системы как рекомендует майкрасофт 64кб. Понятно что это всё делают в корпорациях когда базы большие и бабло есть всяские дисковые полки ебашут по 12-24-48 дисков... но при желании можно и здесь что то подумать ... |
|
:
|
|
08.05.2024, 14:52 |
|
|
Start [/forum/search.php?do_search=1&tid=16227&author_mode=wrote_post&author=%D0%94%D0%B5%D0%B4-%D0%9F%D0%B0%D0%BF%D1%8B%D1%85%D1%82%D0%B5%D1%82&start_from=760788]: |
0ms |
get settings: |
1ms |
get forum list: |
6ms |
searching: |
27ms |
get settings: |
0ms |
get forum list: |
4ms |
get topic data: |
2ms |
check forum access: |
0ms |
check topic access: |
0ms |
get forum data: |
0ms |
get found posts: |
41ms |
track hit: |
47ms |
get online users: |
93ms |
check new: |
1ms |
others: | 254ms |
total: | 476ms |
0 / 0 |