|
Миграция Оракл - PostgreSQL терабайт в час?
|
|||
---|---|---|---|
#18+
лучше расскажи, чем мониторишь постгрю, чем тюнишь есть пара мелких сервкаков, ставить забикс с графаной не торт, надо попроще как-то Довольно забавно было наблюдать за pg_profile, который на таких нагрузках вообще ничего сделать не может. Висят сэмплы гирляндами которые сами себя блокируют. А pg_awr это все прекрасно видит. Конечно есть и другие мониторинги на zabbix и Grafana. Но это очень общие метрики. Детально, то что происходить внутри БД мы смотрим при помощи pg_awr. ... |
|||
:
Нравится:
Не нравится:
|
|||
16.11.2023, 23:56 |
|
Миграция Оракл - PostgreSQL терабайт в час?
|
|
---|---|
#18+
... есть пара мелких сервкаков, ставить забикс с графаной не торт, надо попроще как-то Довольно забавно было наблюдать за pg_profile, который на таких нагрузках вообще ничего сделать не может. Висят сэмплы гирляндами которые сами себя блокируют. А pg_awr это все прекрасно видит. Конечно есть и другие мониторинги на zabbix и Grafana. Но это очень общие метрики. Детально, то что происходить внутри БД мы смотрим при помощи pg_awr. ... |
|
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
:
|
|
17.11.2023, 17:43 |
|
Миграция Оракл - PostgreSQL терабайт в час?
|
|||
---|---|---|---|
#18+
Ораклисты решили во время миграции поменять память, это просто писец.. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.11.2023, 18:03 |
|
Миграция Оракл - PostgreSQL терабайт в час?
|
|
---|---|
#18+
... есть пара мелких сервкаков, ставить забикс с графаной не торт, надо попроще как-то Довольно забавно было наблюдать за pg_profile, который на таких нагрузках вообще ничего сделать не может. Висят сэмплы гирляндами которые сами себя блокируют. А pg_awr это все прекрасно видит. Конечно есть и другие мониторинги на zabbix и Grafana. Но это очень общие метрики. Детально, то что происходить внутри БД мы смотрим при помощи pg_awr. И в нем есть то, чего в pg_profile , и даже в дефолтном Оракле нет. Это например история по деревьям блокировок. ... |
|
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
:
|
|
17.11.2023, 20:03 |
|
Миграция Оракл - PostgreSQL терабайт в час?
|
|
---|---|
#18+
Это просто случилась накладка, которой быть не должно. И это супер редкость. Но с другой стороны эта накладка показала, что концепция правильная. И можно докачать то, не чем прервали ее падением Источника. Это тоже очень полезный опыт ) ... |
|
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
:
|
|
17.11.2023, 20:07 |
|
Миграция Оракл - PostgreSQL терабайт в час?
|
|||
---|---|---|---|
#18+
Судя по всему это доклад "Миграция крупных баз данных из Oracle в PostgreSQL при помощи oracle_fdw" А есть в свободном доступе запись доклада, или хотя бы ppt? ... |
|||
:
Нравится:
Не нравится:
|
|||
23.11.2023, 23:02 |
|
Миграция Оракл - PostgreSQL терабайт в час?
|
|||
---|---|---|---|
#18+
Судя по всему это доклад "Миграция крупных баз данных из Oracle в PostgreSQL при помощи oracle_fdw" А есть в свободном доступе запись доклада, или хотя бы ppt? ... |
|||
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
:
Нравится:
Не нравится:
|
|||
26.11.2023, 00:59 |
|
Миграция Оракл - PostgreSQL терабайт в час?
|
|||
---|---|---|---|
#18+
Если коротко. 1. oracle_fdw - это инструмент который позволяет перекладывать данные из Оракла в Посгрес минуя дампы. Из базы в базу. Делает это родным оракловым api. Ничего быстрее этого быть не может. Если вы видите инструмент, который качает через дампы, или другие "прокладки" - это будет заведомо медленнее в силу архитектуры. Ускорить это конечно возможно , но только читерством типа sync = off, alter teble... nolog. , И т.д. но я считаю это неправильным. Мы переносим честно. Причем даже с синхронной репликой. ... |
|||
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
:
Изменено: 26.11.2023, 01:09 - Тень на плетень
Нравится:
Не нравится:
|
|||
26.11.2023, 01:03 |
|
Миграция Оракл - PostgreSQL терабайт в час?
|
|||
---|---|---|---|
#18+
2. Перенос в один поток может показаться медленным. То есть 1 млн строк например часов 20. Но если это разбить на 55 потоков - получится не 20 часов, а 20 минут(!). То есть нужно правильно параллелить. Для этого мы используем виртуальные секции. В реальности правда это чуть дольше из за LW блокировок. Но это особенность ядра Посгрес. Здесь мы ничего сделать не можем. ... |
|||
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
:
Изменено: 26.11.2023, 01:08 - Тень на плетень
Нравится:
Не нравится:
|
|||
26.11.2023, 01:05 |
|
Миграция Оракл - PostgreSQL терабайт в час?
|
|||
---|---|---|---|
#18+
3. Переносить данные нужно без индексов. А индексы создавать потом. Создание индексов тоже можно параллелить. Это в итоге получается почти в 10 раз быстрее. ... |
|||
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
:
Нравится:
Не нравится:
|
|||
26.11.2023, 01:07 |
|
Миграция Оракл - PostgreSQL терабайт в час?
|
|||
---|---|---|---|
#18+
4. Многие ругают lob. Мол с ними переносится все медленно. А без них все быстро. Но дело то не в этом, а в фактической длине строки. Бывают такие таблицы, которые содержат сотни столбцов varchar, если в них данных столько же сколько и в одном столбце lob - то они переносятся примерно одинаково. ... |
|||
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
:
Нравится:
Не нравится:
|
|||
26.11.2023, 01:13 |
|
Миграция Оракл - PostgreSQL терабайт в час?
|
|||
---|---|---|---|
#18+
2. Перенос в один поток может показаться медленным. То есть 1 млн строк например часов 20. Но если это разбить на 55 потоков - получится не 20 часов, а 20 минут(!). То есть нужно правильно параллелить. Для этого мы используем виртуальные секции. В реальности правда это чуть дольше из за LW блокировок. Но это особенность ядра Посгрес. Здесь мы ничего сделать не можем. Опечатался ... |
|||
Кто в предыдущие годы набил карманы за счет всяких "процессов" в экономике 90-х годов, они точно не элита, а кусок говна.
:
Нравится:
Не нравится:
|
|||
26.11.2023, 01:17 |
|
|
Start [/forum/topic.php?fid=8&tid=13868&msg=616604&do_answer=616604&answer_author=%D0%A2%D0%B5%D0%BD%D1%8C%20%D0%BD%D0%B0%20%D0%BF%D0%BB%D0%B5%D1%82%D0%B5%D0%BD%D1%8C]: |
0ms |
get settings: |
0ms |
get forum list: |
3ms |
check forum access: |
0ms |
check topic access: |
0ms |
track hit: |
18ms |
get topic data: |
2ms |
get forum data: |
0ms |
get page messages: |
25ms |
update_topic_read_status (13868): 26.11.2023 01:17:44: |
0ms |
get tp. blocked users: |
0ms |
get online users: |
24ms |
check new: |
297ms |
others: | 115ms |
total: | 484ms |
0 / 0 |