Дедофорум Z
     
powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Map
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / Просто Трёп [закрыт для гостей] / Миграция Оракл - PostgreSQL терабайт в час?
12 сообщений из 37, страница 2 из 2
  2  все
Миграция Оракл - PostgreSQL терабайт в час?
    #615280
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кусь
Участник
Тень на плетень  16.11.2023, 22:37
[игнорируется]
615116
anonymous  16.11.2023, 21:31
[игнорируется]
615060
Тень на плетень  16.11.2023, 18:14
[игнорируется]
614878
pashesobaka  16.11.2023, 18:12
[игнорируется]
614872
Тень на плетень  16.11.2023, 18:08
[игнорируется]
614864
...
Вах. Это на постгресе?
А чё за железка на котором один постгрес работает?
Пришлю вечерком АВР с простейшей системы 4 ядра, 8Гб и т.д. Сам все увидишь.
лучше расскажи, чем мониторишь постгрю, чем тюнишь
есть пара мелких сервкаков, ставить забикс с графаной не торт, надо попроще как-то
Pg_awr. Это опять же моя разработка. (В интернетах ее нет.) Которая у нас стала корпоративным стандартом. Она размазана на десятки тысяч серверов. Ведет себя великолепно даже на очень высоконагруженных серверах. Вроде 8 ядер, 16 Гб, Load Average под 300. То есть фактически сервак стоит колом. Тем не менее работает. Собирает статистику.

Довольно забавно было наблюдать за pg_profile, который на таких нагрузках вообще ничего сделать не может. Висят сэмплы гирляндами которые сами себя блокируют. А pg_awr это все прекрасно видит.

Конечно есть и другие мониторинги на zabbix и Grafana. Но это очень общие метрики. Детально, то что происходить внутри БД мы смотрим при помощи pg_awr.
Причём заметь, опять с оракла тащим, ну тот же подход с AWR
...
Рейтинг: 0 / 0
16.11.2023, 23:56
| Ответить | Цитировать | Написать | Ответы  
Миграция Оракл - PostgreSQL терабайт в час?
    #616325
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Участник
Кусь  16.11.2023, 23:56
[игнорируется]
615280
Тень на плетень  16.11.2023, 22:37
[игнорируется]
615116
anonymous  16.11.2023, 21:31
[игнорируется]
615060
Тень на плетень  16.11.2023, 18:14
[игнорируется]
614878
pashesobaka  16.11.2023, 18:12
[игнорируется]
614872
...
Пришлю вечерком АВР с простейшей системы 4 ядра, 8Гб и т.д. Сам все увидишь.
лучше расскажи, чем мониторишь постгрю, чем тюнишь
есть пара мелких сервкаков, ставить забикс с графаной не торт, надо попроще как-то
Pg_awr. Это опять же моя разработка. (В интернетах ее нет.) Которая у нас стала корпоративным стандартом. Она размазана на десятки тысяч серверов. Ведет себя великолепно даже на очень высоконагруженных серверах. Вроде 8 ядер, 16 Гб, Load Average под 300. То есть фактически сервак стоит колом. Тем не менее работает. Собирает статистику.

Довольно забавно было наблюдать за pg_profile, который на таких нагрузках вообще ничего сделать не может. Висят сэмплы гирляндами которые сами себя блокируют. А pg_awr это все прекрасно видит.

Конечно есть и другие мониторинги на zabbix и Grafana. Но это очень общие метрики. Детально, то что происходить внутри БД мы смотрим при помощи pg_awr.
Причём заметь, опять с оракла тащим, ну тот же подход с AWR
Сейчас идеи с Оракла пиздить можно ) Года 2-3 назад это бы вызвало вопросы.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 1 / 0
Нравится: Гарыныч
17.11.2023, 17:43
| Ответить | Цитировать | Написать  
Миграция Оракл - PostgreSQL терабайт в час?
    #616377
bga83
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
bga83
Участник
Тень на плетень  16.11.2023, 00:49
[игнорируется]
613824
Ораклисты решили во время миграции поменять память, это просто писец..
весело у вас там, change management, CAB? - нет,не слышали
...
Рейтинг: 0 / 0
17.11.2023, 18:03
| Ответить | Цитировать | Написать | Ответы  
Миграция Оракл - PostgreSQL терабайт в час?
    #616595
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Участник
W  17.11.2023, 18:14
[игнорируется]
616394
Тень на плетень  16.11.2023, 22:37
[игнорируется]
615116
anonymous  16.11.2023, 21:31
[игнорируется]
615060
Тень на плетень  16.11.2023, 18:14
[игнорируется]
614878
pashesobaka  16.11.2023, 18:12
[игнорируется]
614872
...
Пришлю вечерком АВР с простейшей системы 4 ядра, 8Гб и т.д. Сам все увидишь.
лучше расскажи, чем мониторишь постгрю, чем тюнишь
есть пара мелких сервкаков, ставить забикс с графаной не торт, надо попроще как-то
Pg_awr. Это опять же моя разработка. (В интернетах ее нет.) Которая у нас стала корпоративным стандартом. Она размазана на десятки тысяч серверов. Ведет себя великолепно даже на очень высоконагруженных серверах. Вроде 8 ядер, 16 Гб, Load Average под 300. То есть фактически сервак стоит колом. Тем не менее работает. Собирает статистику.

Довольно забавно было наблюдать за pg_profile, который на таких нагрузках вообще ничего сделать не может. Висят сэмплы гирляндами которые сами себя блокируют. А pg_awr это все прекрасно видит.

Конечно есть и другие мониторинги на zabbix и Grafana. Но это очень общие метрики. Детально, то что происходить внутри БД мы смотрим при помощи pg_awr.
а вчем её фишка, на чем сделана?
Фишка - что работает быстро. При этом предоставляет все что действительно нужно. Написана на голом pl/pgSQL + плюс 4 задания cron. Все элементарно. Как до этого не догадались - сам в ахуе...

И в нем есть то, чего в pg_profile , и даже в дефолтном Оракле нет. Это например история по деревьям блокировок.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Изменено: 17.11.2023, 20:05 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
17.11.2023, 20:03
| Ответить | Цитировать | Написать  
Миграция Оракл - PostgreSQL терабайт в час?
    #616604
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Участник
bga83  17.11.2023, 18:03
[игнорируется]
616377
Тень на плетень  16.11.2023, 00:49
[игнорируется]
613824
Ораклисты решили во время миграции поменять память, это просто писец..
весело у вас там, change management, CAB? - нет,не слышали
Это просто случилась накладка, которой быть не должно. И это супер редкость. Но с другой стороны эта накладка показала, что концепция правильная. И можно докачать то, не чем прервали ее падением Источника. Это тоже очень полезный опыт )
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 1 / 0
Нравится: Гарыныч
17.11.2023, 20:07
| Ответить | Цитировать | Написать  
Миграция Оракл - PostgreSQL терабайт в час?
    #626789
Vadim Lezhnin
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Vadim Lezhnin
Участник
Судя по всему это доклад "Миграция крупных баз данных из Oracle в PostgreSQL при помощи oracle_fdw"
А есть в свободном доступе запись доклада, или хотя бы ppt?
...
Рейтинг: 0 / 0
23.11.2023, 23:02
| Ответить | Цитировать | Написать | Ответы  
Миграция Оракл - PostgreSQL терабайт в час?
    #630347
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Участник
Vadim Lezhnin  23.11.2023, 23:02
[игнорируется]
626789
Судя по всему это доклад "Миграция крупных баз данных из Oracle в PostgreSQL при помощи oracle_fdw"
А есть в свободном доступе запись доклада, или хотя бы ppt?
Должна быть. Если нужно - могу объяснить базовые моменты. В докладе мне не разрешили все нюансы рассказывать. Вот в докладе на WD конф - чуть больше деталей. Но опять не все. Но если вы в этом направлении пойдете - до всего сами дойдете. Там в принципе все почти очевидно, если понимать в какую сторону идти. Мы просто показываем тренд.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 0 / 0
26.11.2023, 00:59
| Ответить | Цитировать | Написать | Ответы  
Миграция Оракл - PostgreSQL терабайт в час?
    #630351
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Участник
Если коротко.

1. oracle_fdw - это инструмент который позволяет перекладывать данные из Оракла в Посгрес минуя дампы. Из базы в базу. Делает это родным оракловым api. Ничего быстрее этого быть не может. Если вы видите инструмент, который качает через дампы, или другие "прокладки" - это будет заведомо медленнее в силу архитектуры. Ускорить это конечно возможно , но только читерством типа sync = off, alter teble... nolog. , И т.д. но я считаю это неправильным. Мы переносим честно. Причем даже с синхронной репликой.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Изменено: 26.11.2023, 01:09 - Тень на плетень
Рейтинг: 0 / 0
26.11.2023, 01:03
| Ответить | Цитировать | Написать | Ответы  
Миграция Оракл - PostgreSQL терабайт в час?
    #630354
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Участник
2. Перенос в один поток может показаться медленным. То есть 1 млн строк например часов 20. Но если это разбить на 55 потоков - получится не 20 часов, а 20 минут(!). То есть нужно правильно параллелить. Для этого мы используем виртуальные секции.

В реальности правда это чуть дольше из за LW блокировок. Но это особенность ядра Посгрес. Здесь мы ничего сделать не можем.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Изменено: 26.11.2023, 01:08 - Тень на плетень
Рейтинг: 0 / 0
26.11.2023, 01:05
| Ответить | Цитировать | Написать | Ответы  
Миграция Оракл - PostgreSQL терабайт в час?
    #630358
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Участник
3. Переносить данные нужно без индексов. А индексы создавать потом. Создание индексов тоже можно параллелить. Это в итоге получается почти в 10 раз быстрее.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 0 / 0
26.11.2023, 01:07
| Ответить | Цитировать | Написать | Ответы  
Миграция Оракл - PostgreSQL терабайт в час?
    #630365
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Участник
4. Многие ругают lob. Мол с ними переносится все медленно. А без них все быстро. Но дело то не в этом, а в фактической длине строки. Бывают такие таблицы, которые содержат сотни столбцов varchar, если в них данных столько же сколько и в одном столбце lob - то они переносятся примерно одинаково.
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 0 / 0
26.11.2023, 01:13
| Ответить | Цитировать | Написать  
Миграция Оракл - PostgreSQL терабайт в час?
    #630366
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Участник
Тень на плетень  26.11.2023, 01:05
[игнорируется]
630354
2. Перенос в один поток может показаться медленным. То есть 1 млн строк например часов 20. Но если это разбить на 55 потоков - получится не 20 часов, а 20 минут(!). То есть нужно правильно параллелить. Для этого мы используем виртуальные секции.

В реальности правда это чуть дольше из за LW блокировок. Но это особенность ядра Посгрес. Здесь мы ничего сделать не можем.
1 миллиард строк *

Опечатался
...
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
Рейтинг: 0 / 0
26.11.2023, 01:17
| Ответить | Цитировать | Написать  
12 сообщений из 37, страница 2 из 2
  2  все
Форумы / Просто Трёп [закрыт для гостей] / Миграция Оракл - PostgreSQL терабайт в час?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Читали форум (108): Анонимы (102), Tosh, basename, С чистого листа 1 мин., Горбатый ёж 2 мин., Неуловимый Джо 2 мин., Сталкер 6 мин.
Пользователи онлайн (154): Анонимы (144), Bing Bot, sergmal, Yandex Bot, Tosh, basename, С чистого листа 1 мин., Горбатый ёж 2 мин., Неуловимый Джо 2 мин., Google Bot 6 мин., Сталкер 6 мин.
Польз. соглашение
ReSQL.ru, Чоткий форум, Чат Кролика       Пашэ: Рисунки, Чат       Деда: Фотоальбом, Встречи
Закрыть
Start [/forum/topic.php?fid=8&tid=13868&gotonew=1]:
 0ms
get settings:
 1ms
get forum list:
 5ms
check forum access:
 0ms
check topic access:
 0ms
track hit:
 25ms
get topic data:
 3ms
get first new msg:
 1ms
get forum data:
 1ms
get page messages:
 28ms
update_topic_read_status (13868): 26.11.2023 01:17:44:
 0ms
get tp. blocked users:
 1ms
get online users:
 77ms
check new:
 308ms
others: 122ms
total:  572ms
созд. / загр.: 572ms (нв.: 308ms)
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]