Дедокластер Z
|
|||
---|---|---|---|
#18+
А на ком ещё? Реальный сервис в Интернете, реальные люди, полностью боевые условия. Почему бы мемберов-посетителей не использовать в качестве площадки для тестирования? ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 18:24 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
... Наилучшая производительность i/o достигается, когда размер блока базы данных равен размеру блока файловой системы или кратен ему, Всё это на реальном железе прокатывает. Тем паче, витуалка тем ценна, что её можно переносить туда-сюда, а как там будет на железе - неизвестно. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 18:32 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
мы в своё время в прове, когда на линукс (с OSF/1) переезжали, отдельно собирали ядро и регkамент сборки прописали, на это прилично времени ушло и на прочую другую пердь - диски, сетку, на это прилично времени ухайдокалось, но потом результаты служили нам верой и правдой многие годы (естественно, периодически подправлялись, с развитием технического прогресса) ... |
|||
:
Изменено: 07.05.2024, 18:37 - IT-Клоп
Нравится:
Не нравится:
|
|||
07.05.2024, 18:35 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
IT-Клоп [игнорируется] Я вот припоминаю места работы, ну вот в случаях, когда настраивали standalone серверы, без СХД, везде липили raid 5 c хот спаре, ну если конфигурации на локальную работу. Никто никогда дополнительно не настраивал параметры рэйда в контроллере и не тонким тюненгом в общем не занимался. В некоторых случаях, я помню был шаблоны с командами, там в частности queue size задавали, ещё там что-то, но это при подключении к СХД. Наилучшая производительность i/o достигается, когда размер блока базы данных равен размеру блока файловой системы или кратен ему, ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 18:39 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
Почему бы мемберов-посетителей не использовать в качестве площадки для тестирования? а если не потянешь по деньгам? ... |
|||
дед-пердед
:
Нравится:
Не нравится:
|
|||
07.05.2024, 18:43 |
|
Дедокластер Z
|
|
---|---|
#18+
тогда , по классике, базя пожелает нам здоровья, успехов, хорошего настроения... ... |
|
:
|
|
07.05.2024, 18:44 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
IT-Клоп [игнорируется] Я вот припоминаю места работы, ну вот в случаях, когда настраивали standalone серверы, без СХД, везде липили raid 5 c хот спаре, ну если конфигурации на локальную работу. Никто никогда дополнительно не настраивал параметры рэйда в контроллере и не тонким тюненгом в общем не занимался. В некоторых случаях, я помню был шаблоны с командами, там в частности queue size задавали, ещё там что-то, но это при подключении к СХД. Наилучшая производительность i/o достигается, когда размер блока базы данных равен размеру блока файловой системы или кратен ему, ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 19:00 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
Тогда придётся возвращаться на текущую конфигурацию. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 19:00 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
Гарыныч [игнорируется] Ну вообще помимо денег конструкция трудозатратна для обслуживания. Это уже совсем как работа, получается. Плюс сейчас за бэкапы, слежение за исправностью оборудования отвечает хостер, теперь все сам. Диск сдохнет - следи сам. Ну и т.д. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 19:04 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
а я про что? занахуя ты это затеял тогда? чтобы потешить своё ЧСВ? ) ... |
|||
дед-пердед
:
Изменено: 07.05.2024, 19:07 - Гарыныч
Нравится:
Не нравится:
|
|||
07.05.2024, 19:07 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
а я про что? занахуя ты это затеял тогда? чтобы потешить своё ЧСВ? ) ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 19:13 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
Да и делать совсем не куй в свободное от работы время. ... |
|||
дед-пердед
:
Нравится:
Не нравится:
|
|||
07.05.2024, 19:14 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
... Наилучшая производительность i/o достигается, когда размер блока базы данных равен размеру блока файловой системы или кратен ему, К виртуалке можно примапить с уже с любого диска файл-диск для виртуалбокс тот же а этот файл на локальном диске или каком то рейде лежит. это одно. а можно до виртуалки на контроллере физически собрать рейды из физических дисков и уже эти диски презентовать любой из виртуалок - эксклюзивный доступ будет ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 19:23 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
Так же, если диски физические К виртуалке можно примапить с уже с любого диска файл-диск для виртуалбокс тот же а этот файл на локальном диске или каком то рейде лежит. это одно. а можно до виртуалки на контроллере физически собрать рейды из физических дисков и уже эти диски презентовать любой из виртуалок - эксклюзивный доступ будет - 2 диска по 480 гигов, в raid 1 под сам гипервизор - 6 дисков по терабайту. Из них 5 в raid 5 + 1 hotspare На томе raid 5 расположены сами в виртуалки. Ну, то есть, их виртуальные диски там лежат. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 19:32 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
Немного не понял, физические всмысле прокинуты в виртуалку? нет, не такие. Просто виртуальный диск. Ну ты создавал же наверняка виртуалки, хоть в virtual box, ну вот там что-то типа такого же. К виртуалке можно примапить с уже с любого диска файл-диск для виртуалбокс тот же а этот файл на локальном диске или каком то рейде лежит. это одно. а можно до виртуалки на контроллере физически собрать рейды из физических дисков и уже эти диски презентовать любой из виртуалок - эксклюзивный доступ будет - 2 диска по 480 гигов, в raid 1 под сам гипервизор - 6 дисков по терабайту. Из них 5 в raid 5 + 1 hotspare На томе raid 5 расположены сами в виртуалки. Ну, то есть, их виртуальные диски там лежат. Ну вот типы хранилищ в моей виртуализации https://pve.proxmox.com/wiki/Storage https://pve.proxmox.com/wiki/LVM2 У меня lvm-thin. Каждый диск виртуалки - это LV. ... |
|||
:
Изменено: 07.05.2024, 19:36 - basename
Нравится:
Не нравится:
|
|||
07.05.2024, 19:35 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
Немного не понял, физические всмысле прокинуты в виртуалку? нет, не такие. Просто виртуальный диск. Ну ты создавал же наверняка виртуалки, хоть в virtual box, ну вот там что-то типа такого же. К виртуалке можно примапить с уже с любого диска файл-диск для виртуалбокс тот же а этот файл на локальном диске или каком то рейде лежит. это одно. а можно до виртуалки на контроллере физически собрать рейды из физических дисков и уже эти диски презентовать любой из виртуалок - эксклюзивный доступ будет - 2 диска по 480 гигов, в raid 1 под сам гипервизор - 6 дисков по терабайту. Из них 5 в raid 5 + 1 hotspare На томе raid 5 расположены сами в виртуалки. Ну, то есть, их виртуальные диски там лежат. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 19:43 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
Немного не понял, физические всмысле прокинуты в виртуалку? нет, не такие. Просто виртуальный диск. Ну ты создавал же наверняка виртуалки, хоть в virtual box, ну вот там что-то типа такого же. К виртуалке можно примапить с уже с любого диска файл-диск для виртуалбокс тот же а этот файл на локальном диске или каком то рейде лежит. это одно. а можно до виртуалки на контроллере физически собрать рейды из физических дисков и уже эти диски презентовать любой из виртуалок - эксклюзивный доступ будет - 2 диска по 480 гигов, в raid 1 под сам гипервизор - 6 дисков по терабайту. Из них 5 в raid 5 + 1 hotspare На томе raid 5 расположены сами в виртуалки. Ну, то есть, их виртуальные диски там лежат. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 19:46 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
... К виртуалке можно примапить с уже с любого диска файл-диск для виртуалбокс тот же а этот файл на локальном диске или каком то рейде лежит. это одно. а можно до виртуалки на контроллере физически собрать рейды из физических дисков и уже эти диски презентовать любой из виртуалок - эксклюзивный доступ будет - 2 диска по 480 гигов, в raid 1 под сам гипервизор - 6 дисков по терабайту. Из них 5 в raid 5 + 1 hotspare На томе raid 5 расположены сами в виртуалки. Ну, то есть, их виртуальные диски там лежат. У меня обычная виртуализация и большой том raid используется для хранения виртуальных дисков виртуальных машин. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 20:16 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
... К виртуалке можно примапить с уже с любого диска файл-диск для виртуалбокс тот же а этот файл на локальном диске или каком то рейде лежит. это одно. а можно до виртуалки на контроллере физически собрать рейды из физических дисков и уже эти диски презентовать любой из виртуалок - эксклюзивный доступ будет - 2 диска по 480 гигов, в raid 1 под сам гипервизор - 6 дисков по терабайту. Из них 5 в raid 5 + 1 hotspare На томе raid 5 расположены сами в виртуалки. Ну, то есть, их виртуальные диски там лежат. У меня обычная виртуализация и большой том raid используется для хранения виртуальных дисков виртуальных машин. ... |
|||
:
Нравится:
Не нравится:
|
|||
07.05.2024, 23:58 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
... - 2 диска по 480 гигов, в raid 1 под сам гипервизор - 6 дисков по терабайту. Из них 5 в raid 5 + 1 hotspare На томе raid 5 расположены сами в виртуалки. Ну, то есть, их виртуальные диски там лежат. У меня обычная виртуализация и большой том raid используется для хранения виртуальных дисков виртуальных машин. ... |
|||
:
Нравится:
Не нравится:
|
|||
Вчера, 13:47 |
|
Дедокластер Z
#775829
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
|
||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
... - 2 диска по 480 гигов, в raid 1 под сам гипервизор - 6 дисков по терабайту. Из них 5 в raid 5 + 1 hotspare На томе raid 5 расположены сами в виртуалки. Ну, то есть, их виртуальные диски там лежат. У меня обычная виртуализация и большой том raid используется для хранения виртуальных дисков виртуальных машин. - проеб места на системных дисках. Я все отдал гипервизору, а он по факту сейчас жрет 5 гигов. Надо было гипервизору отдать ну максимум 32 гига, остальное место отдать тоже под данные, хотя бы под системные диски некоторых виртуалок. Скорее всего буду резать, уменьшать. Ну блять разбрасываться 300 гигов - жирно - всего 22 виртуалки по плану (11 на каждом узле). у каждой виртуалки системный диск по 32 гига. Ну... можно после переразметки диска вприницпе все их впихнуть в raid1, вернее системные диски этих виртуалок. Испепеляющая надёжность не требуется, в системный диск пишутся максимум логи.. 32 гига места - тоже до куя так -то, для ОС 8 гигов вполне хватает, ну просто обычно что-о нужно скопировать, архив, туда сюда, а места нет. Думаю, пусть будет 32 у каждой - из доступны примерно 3.5 тера raid5 у меня 1 тер под бэкапы виртуалок средствами гипервизора 2.5 тера на каждом сервере для данных, дисков, виртуальных машин - в конструкции есть виртуальный сторэдж из 4 узлов с дополнительными виртуальными дисками по 256 каждый и 4 sql сервера в вышеописанном кластере с дополнительными дисками 512 каждый - итого примерно на кждом сервере занято около 2 терабайт, ну 500 гигов пусть там остается снэпшоты, туда сюда, вдруг места куда докинуть надо - самый жрущие сущности - виртуальный сторэдж и sql Немного про сторэджи, почему нужно резать. Выше я приводил ссылку на поддерживаемые гипервизором типы хранилища. Внешней полки по FC у меня нет. только локальные диски сервера. В моем случае оптимальным сторэджем будет lvm-thin. Эта штука никуда не монтируется, в операционную систему, в гипервизоре создаётся хранилище с этим типом,пуликуется и на этапе создания дисков для каждой вм создаётся lv в подсистеме lvm. да, гипервизор может работать, создавая диски в файловой системе ОС, как файлы, но такая конструкция на сайтевендора рекомендована исключительно для ознакомления и тестирования. В общем, наверное,всё-таки raid5 самый оптимальный выбор в данной ситуации. ... |
||||||||||||||||
:
Нравится:
Не нравится:
|
||||||||||||||||
Вчера, 14:25 |
|
Дедокластер Z
|
|
---|---|
#18+
Про хранение БД... По классике у БД есть файлы транлога и файлы с данными. 1. файлы транлога - 99% это последовательная запись и сохранение в ОЗУ этих данных, чтение происходит при откатах транзакций и при старте - дочитка из транлога того, что не успело записаться в файлы данных. То есть рекомендуют транлог выносить на отдельный raid1/10 ибо транлог важен, его важно не проебать когда рейд вылетит иначе привет восстановление из бэкапа с проебом данных и максимум скорости для линейной записи. Если туда ткнуть еще какие то данные которые читаться будут то скорость записи будет нихуя не линейной будет рандомное чтение и скорость записи просядет. Кстати в случае кластеров или репликаций, чуть ли не всегда реализована передача транлога с основного сервера на резервный по сети. 2. файлы данных туда запись идет фоном раз в 30 сек - 1 минута фоновыми процессами, то есть запись редкая, но идет чтение с разных таблиц. Ну... типа рейд5/6 пишут норм, но если много всякого чтения, то 10ка лучше чем 5ка. Основной лейт-мотив - предаставь транлогу отдельные диски которые не будет трогать другие процессы, места много транлогу не нужно там и 100гб хватит. была бы пара дисков быстрых по 300гб из них собрал рейд1 отдал транлогу и збсь было бы. Ну и... размер кластера файловой системы можно сделать наверное небольшим 1-2кб, хотя я бы не парился сделал бы 8кб - равный размеру страницы. Для файла данных рейд5 или рейд10 размер кластера файловой системы не меньше размера страницы в постгрес 8кб, можно менять если пересобирать из исходников, в оракл тоже вроде можно и 64кб сделать - хз кто этим заморачивается или всем похуй оставляют по умолчанию 8кб. В мсскл есть еще такая хуйня как экстенты - 8 страниц то есть 64кб, обычно майкрасофт скл пишет минимум 1 экстент, бэкапы точно читает экстентами минимум (64кб). Как в mysql не ебу честно... В общем для раздела где будут лежать файлы БД, я бы ебанул райд5/6 а лучше райд1/10 и размер кластера файловой системы как рекомендует майкрасофт 64кб. Понятно что это всё делают в корпорациях когда базы большие и бабло есть всяские дисковые полки ебашут по 12-24-48 дисков... но при желании можно и здесь что то подумать ... |
|
:
|
|
Вчера, 14:52 |
|
Дедокластер Z
|
|||
---|---|---|---|
#18+
Про хранение БД... По классике у БД есть файлы транлога и файлы с данными. 1. файлы транлога - 99% это последовательная запись и сохранение в ОЗУ этих данных, чтение происходит при откатах транзакций и при старте - дочитка из транлога того, что не успело записаться в файлы данных. То есть рекомендуют транлог выносить на отдельный raid1/10 ибо транлог важен, его важно не проебать когда рейд вылетит иначе привет восстановление из бэкапа с проебом данных и максимум скорости для линейной записи. Если туда ткнуть еще какие то данные которые читаться будут то скорость записи будет нихуя не линейной будет рандомное чтение и скорость записи просядет. Кстати в случае кластеров или репликаций, чуть ли не всегда реализована передача транлога с основного сервера на резервный по сети. 2. файлы данных туда запись идет фоном раз в 30 сек - 1 минута фоновыми процессами, то есть запись редкая, но идет чтение с разных таблиц. Ну... типа рейд5/6 пишут норм, но если много всякого чтения, то 10ка лучше чем 5ка. Основной лейт-мотив - предаставь транлогу отдельные диски которые не будет трогать другие процессы, места много транлогу не нужно там и 100гб хватит. была бы пара дисков быстрых по 300гб из них собрал рейд1 отдал транлогу и збсь было бы. Ну и... размер кластера файловой системы можно сделать наверное небольшим 1-2кб, хотя я бы не парился сделал бы 8кб - равный размеру страницы. Для файла данных рейд5 или рейд10 размер кластера файловой системы не меньше размера страницы в постгрес 8кб, можно менять если пересобирать из исходников, в оракл тоже вроде можно и 64кб сделать - хз кто этим заморачивается или всем похуй оставляют по умолчанию 8кб. В мсскл есть еще такая хуйня как экстенты - 8 страниц то есть 64кб, обычно майкрасофт скл пишет минимум 1 экстент, бэкапы точно читает экстентами минимум (64кб). Как в mysql не ебу честно... В общем для раздела где будут лежать файлы БД, я бы ебанул райд5/6 а лучше райд1/10 и размер кластера файловой системы как рекомендует майкрасофт 64кб. Понятно что это всё делают в корпорациях когда базы большие и бабло есть всяские дисковые полки ебашут по 12-24-48 дисков... но при желании можно и здесь что то подумать ... |
|||
:
Нравится:
Не нравится:
|
|||
Вчера, 14:55 |
|
Start [/forum/topic.php?fid=8&fpage=1&tid=16227&startmsg=last&offset=-1]: |
0ms |
get settings: |
1ms |
get forum list: |
5ms |
check forum access: |
0ms |
check topic access: |
0ms |
track hit: |
19ms |
get topic data: |
6ms |
get forum data: |
1ms |
get page messages: |
112ms |
update_topic_read_status (16227): 08.05.2024 14:55:48: |
0ms |
get tp. blocked users: |
0ms |
get online users: |
17ms |
check new: |
288ms |
others: | 153ms |
total: | 602ms |
0 / 0 |