Дедофорум Z
     
powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Мобильная версия    Контакт    Правила    FAQ    Помощь
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Доб. в избранное | Игнор. тему | Прикреп. тему | Пометить прочит. / непрочит. | Фильтр
Форумы / PostgreSQL [закрыт для гостей] / Запилил статью на Хабре
Модераторы: Тень на плетень
75 сообщений из 75, показаны все 3 страниц
  все  
Запилил статью на Хабре
    #802594
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Это о миграции из Оракла в Постгрес. Критика приветствуется, т.к. мы все в одной лодке.)

https://habr.com/ru/companies/vtb/articles/819133/

Статья получилась длинноватая но я изложил все что есть на самом деле. Надеюсь что найдутся умные молодые люди которые смогут отшлифовать этот концепт до совершенства. Я фактически изложил главные идеи.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
12.06.2024, 22:16:44
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #802597
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ГарынычПривилегированный пользователь
Участник
Тень на плетень  12.06.2024, 22:16:44
[игнорируется]
802594
Это о миграции из Оракла в Постгрес. Критика приветствуется, т.к. мы все в одной лодке.)

https://habr.com/ru/companies/vtb/articles/819133/

Статья получилась длинноватая но я изложил все что есть на самом деле. Надеюсь что найдутся умные молодые люди которые смогут отшлифовать этот концепт до совершенства. Я фактически изложил главные идеи.
а можно ещё где-нить? хабр не открывается в Ростелекоме :(((
2024-06-12_22-18-44.png
...
Изменено: 12.06.2024, 22:19:52 - Гарыныч
Рейтинг: 0 / 0
12.06.2024, 22:18:25
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #802600
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Гарыныч  12.06.2024, 22:18:25
[игнорируется]
802597
Тень на плетень  12.06.2024, 22:16:44
[игнорируется]
802594
Это о миграции из Оракла в Постгрес. Критика приветствуется, т.к. мы все в одной лодке.)

https://habr.com/ru/companies/vtb/articles/819133/

Статья получилась длинноватая но я изложил все что есть на самом деле. Надеюсь что найдутся умные молодые люди которые смогут отшлифовать этот концепт до совершенства. Я фактически изложил главные идеи.
а можно ещё где-нить? хабр не открывается в Ростелекоме :(((
Странное дело. Но да я могу и тут ее репостить.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
12.06.2024, 22:20:12
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #802607
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
В общем в Яндексе набери:

Как мы мигрировали из Oracle в PostgreSQL

И там открой сохраненную копию. Должно сработать.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
12.06.2024, 22:23:02
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #802613
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ГарынычПривилегированный пользователь
Участник
Тень на плетень  12.06.2024, 22:20:12
[игнорируется]
802600
Гарыныч  12.06.2024, 22:18:25
[игнорируется]
802597
Тень на плетень  12.06.2024, 22:16:44
[игнорируется]
802594
Это о миграции из Оракла в Постгрес. Критика приветствуется, т.к. мы все в одной лодке.)

https://habr.com/ru/companies/vtb/articles/819133/

Статья получилась длинноватая но я изложил все что есть на самом деле. Надеюсь что найдутся умные молодые люди которые смогут отшлифовать этот концепт до совершенства. Я фактически изложил главные идеи.
а можно ещё где-нить? хабр не открывается в Ростелекоме :(((
Странное дело. Но да я могу и тут ее репостить.
ок, хотелось бы почитать...\
...
Рейтинг: 0 / 0
12.06.2024, 22:26:02
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #802615
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Гарыныч  12.06.2024, 22:26:02
[игнорируется]
802613
Тень на плетень  12.06.2024, 22:20:12
[игнорируется]
802600
Гарыныч  12.06.2024, 22:18:25
[игнорируется]
802597
Тень на плетень  12.06.2024, 22:16:44
[игнорируется]
802594
Это о миграции из Оракла в Постгрес. Критика приветствуется, т.к. мы все в одной лодке.)

https://habr.com/ru/companies/vtb/articles/819133/

Статья получилась длинноватая но я изложил все что есть на самом деле. Надеюсь что найдутся умные молодые люди которые смогут отшлифовать этот концепт до совершенства. Я фактически изложил главные идеи.
а можно ещё где-нить? хабр не открывается в Ростелекоме :(((
Странное дело. Но да я могу и тут ее репостить.
ок, хотелось бы почитать...\
Ну ты не только читай. Еще в комментах сри 😀
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
12.06.2024, 22:27:07
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #802617
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ГарынычПривилегированный пользователь
Участник
Тень на плетень  12.06.2024, 22:23:02
[игнорируется]
802607
Как мы мигрировали из Oracle в PostgreSQL
https://pgconf.ru/media/2016/02/19/03 - Игнатов pgconf2016_ora_to_pg.pdf

это оно?
...
Рейтинг: 0 / 0
12.06.2024, 22:27:42
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #802633
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Гарыныч  12.06.2024, 22:27:42
[игнорируется]
802617
Тень на плетень  12.06.2024, 22:23:02
[игнорируется]
802607
Как мы мигрировали из Oracle в PostgreSQL
https://pgconf.ru/media/2016/02/19/03 - Игнатов pgconf2016_ora_to_pg.pdf

это оно?
Нет это не это. Смотри именно ссылки на Хабр. Других нет. Это свежая статья, дня 2 наверное ей.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
12.06.2024, 22:40:11
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #802637
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ГарынычПривилегированный пользователь
Участник
Тень на плетень  12.06.2024, 22:40:11
[игнорируется]
802633
Гарыныч  12.06.2024, 22:27:42
[игнорируется]
802617
Тень на плетень  12.06.2024, 22:23:02
[игнорируется]
802607
Как мы мигрировали из Oracle в PostgreSQL
https://pgconf.ru/media/2016/02/19/03 - Игнатов pgconf2016_ora_to_pg.pdf

это оно?
Нет это не это. Смотри именно ссылки на Хабр. Других нет. Это свежая статья, дня 2 наверное ей.
млять, у мну Хабр не открывается :(((
...
Рейтинг: 0 / 0
12.06.2024, 22:42:22
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #802639
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ГарынычПривилегированный пользователь
Участник
Гарыныч  12.06.2024, 22:42:22
[игнорируется]
802637
Тень на плетень  12.06.2024, 22:40:11
[игнорируется]
802633
Гарыныч  12.06.2024, 22:27:42
[игнорируется]
802617
Тень на плетень  12.06.2024, 22:23:02
[игнорируется]
802607
Как мы мигрировали из Oracle в PostgreSQL
https://pgconf.ru/media/2016/02/19/03 - Игнатов pgconf2016_ora_to_pg.pdf

это оно?
Нет это не это. Смотри именно ссылки на Хабр. Других нет. Это свежая статья, дня 2 наверное ей.
млять, у мну Хабр не открывается :(((
ухтыж, а это открылося :
https://habr.com/ru/companies/slurm/articles/664202/
...
Рейтинг: 0 / 0
12.06.2024, 22:43:46
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #802640
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Гарыныч  12.06.2024, 22:42:22
[игнорируется]
802637
Тень на плетень  12.06.2024, 22:40:11
[игнорируется]
802633
Гарыныч  12.06.2024, 22:27:42
[игнорируется]
802617
Тень на плетень  12.06.2024, 22:23:02
[игнорируется]
802607
Как мы мигрировали из Oracle в PostgreSQL
https://pgconf.ru/media/2016/02/19/03 - Игнатов pgconf2016_ora_to_pg.pdf

это оно?
Нет это не это. Смотри именно ссылки на Хабр. Других нет. Это свежая статья, дня 2 наверное ей.
млять, у мну Хабр не открывается :(((
Я тебе и говорю, что открой копию поисковика. Но наверное это надо делать с компа. В телефонных браузерах почему то такого нет. Ну ничего. Тут тоже запилю )
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
12.06.2024, 22:44:05
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #802643
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ГарынычПривилегированный пользователь
Участник
Тень на плетень  12.06.2024, 22:44:05
[игнорируется]
802640
Гарыныч  12.06.2024, 22:42:22
[игнорируется]
802637
Тень на плетень  12.06.2024, 22:40:11
[игнорируется]
802633
Гарыныч  12.06.2024, 22:27:42
[игнорируется]
802617
Тень на плетень  12.06.2024, 22:23:02
[игнорируется]
802607
...
https://pgconf.ru/media/2016/02/19/03 - Игнатов pgconf2016_ora_to_pg.pdf

это оно?
Нет это не это. Смотри именно ссылки на Хабр. Других нет. Это свежая статья, дня 2 наверное ей.
млять, у мну Хабр не открывается :(((
Я тебе и говорю, что открой копию поисковика. Но наверное это надо делать с компа. В телефонных браузерах почему то такого нет. Ну ничего. Тут тоже запилю )
вот ето тоже открылося:
https://habr.com/ru/companies/vtb/articles/819133/
...
Рейтинг: 0 / 0
12.06.2024, 22:45:10
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #802645
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ГарынычПривилегированный пользователь
Участник
Тень на плетень  12.06.2024, 22:44:05
[игнорируется]
802640
В телефонных браузерах почему то такого нет.
я с компа в инете , мне нафих не упёрлися гаджеты
...
Рейтинг: 0 / 0
12.06.2024, 22:45:52
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #802651
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Да оно, вот на всякий скрины.
Screenshot_20240612_224423_com.huawei.browser_edit_934214884692343.jpg
Screenshot_20240612_224506_com.huawei.browser.jpg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
12.06.2024, 22:49:06
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #802655
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Еще.
Screenshot_20240612_224517_com.huawei.browser.jpg
Screenshot_20240612_224528_com.huawei.browser.jpg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
12.06.2024, 22:50:24
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #802667
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Тень на плетень  12.06.2024, 22:49:06
[игнорируется]
802651
Да оно, вот на всякий скрины.
Screenshot_20240612_224423_com.huawei.browser_edit_934214884692343.jpg
Screenshot_20240612_224506_com.huawei.browser.jpg
Тут конечно есть крамола в графиках. Оракловый SQL Developer, прикрученный драйвером в Postgres. Надеюсь не заметят. 😅
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
12.06.2024, 22:52:07
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #802764
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ГарынычПривилегированный пользователь
Участник
Тень на плетень  12.06.2024, 22:49:06
[игнорируется]
802651
Да оно, вот на всякий скрины.
Screenshot_20240612_224423_com.huawei.browser_edit_934214884692343.jpg
Screenshot_20240612_224506_com.huawei.browser.jpg
пасиб!
...
Рейтинг: 0 / 0
12.06.2024, 23:24:11
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #802766
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ГарынычПривилегированный пользователь
Участник
зы:? а теле2 - нынче рулёз? в дрочко - телефонии?
...
Рейтинг: 0 / 0
12.06.2024, 23:25:02
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #803093
Фотография Green
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
GreenПривилегированный пользователь
Модератор форума
Тень на плетень  12.06.2024, 22:16:44
[игнорируется]
802594
Это о миграции из Оракла в Постгрес. Критика приветствуется, т.к. мы все в одной лодке.)

https://habr.com/ru/companies/vtb/articles/819133/

Статья получилась длинноватая но я изложил все что есть на самом деле. Надеюсь что найдутся умные молодые люди которые смогут отшлифовать этот концепт до совершенства. Я фактически изложил главные идеи.
Мне нравится, хорошая, профессиональная работа.
...
Рейтинг: 0 / 0
13.06.2024, 06:03:14
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1270648
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Вобщем по результатам моя статья оказалась лучшей из всех за 2024 для ВТБ.

Шеф поздравил с выходом в лидеры. [:drink]
Screenshot_20241227_194647.jpg
В след году планируется выход еще двух статей.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 2 / 0
Нравится: CerebroSQL, Гарыныч
27.12.2024, 22:41:04
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1311783
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Написал новую статью. Об эффетивных методах секционировании штатными средствами PostgreSQL. О т.н. Корзинном секционировании (Basket patitioning) Очень крутая вещь, позволяющая быстро через DDL операции удалять огромные массивы устаревших данных. После чего итоговые таблицы не нуждаются в обслуживании.

Применимо для OLTP профилей нагрузки. Как опубликуют, скину ссылку.

Статья тоже от банковского аккаунта. Но комментировать буду из под своего.
...
С уважением, КѢдра МiтрейЪ.
Изменено: 06.02.2025, 00:11:30 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
06.02.2025, 00:07:55
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1312088
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Вот так примерно выглядит работа над статьей. ) Вы тоже пишите. Делитесь с сообществом своими находками.
IMG_20250206_102208.jpg
Это Титул, специфика Хабра. Картинку сгенерил при помощи ИИ в Шедеврум. Но это шаблон. Дизайнер еще допилит.
IMG_20250206_102223.jpg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
06.02.2025, 10:29:00
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1316387
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
megabyteПривилегированный пользователь
Участник
Тень на плетень  06.02.2025, 00:07:55
[игнорируется]
1311783
Basket patitioning
Термин сам придумал?
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист,
протохохол, желающий поменять родных православных коррупционеров на иноземных,
идейный укр, который родился не в России,
иноагент, но без официального статуса,
имперский гость всея Руси,
либерал, толерантный к империи и ее оркам,
криптокоммуняка,
террорист-экстремист с Литреса,
криптонаглосакс.
Рейтинг: 0 / 0
10.02.2025, 23:04:56
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1316407
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Гарыныч  10.02.2025, 23:09:35
[игнорируется]
1316396
Мегачлен, там опечатка же
Где? Может и есть.

Да термин и архитектура - мое.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
10.02.2025, 23:23:47
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1316416
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Гарыныч  10.02.2025, 23:27:00
[игнорируется]
1316409
Тень на плетень  06.02.2025, 00:07:55
[игнорируется]
1311783
О т.н. Корзинном секционировании (Basket patitioning)
вот тут мегачлен увидел знакомые буковки :)))) и решил дое@@@ца до очепятки :)))
А понял. 😀 Ну поправим, это черновик )

Вообще у меня есть еще термин " виртуальное секционирование". Когда одна большая таблица в определении fdw разбивается на кучу мелких секций с диапазонами прямым запросом. Это удобно для многопоточного переноса.
...
С уважением, КѢдра МiтрейЪ.
Изменено: 10.02.2025, 23:48:30 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
10.02.2025, 23:40:57
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1316424
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Когда я учился в аспирантуре ОИВТ РАН, шеф нам говорил, что если вы не можете найти название чему то - не ссыте , придумываете его сами. :))) Вот и я не ссу, придумываю )
...
С уважением, КѢдра МiтрейЪ.
Изменено: 10.02.2025, 23:47:03 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
10.02.2025, 23:46:49
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1316429
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Вот еще интересна проблема возникла. По определению фактического профиля нагрузки. OLAP он или OLTP. И собственно если система заявлена как OLAP, но на самом деле ведет себя как OLTP или наоборот, это должно быть видно в мониторинге.

Для определения профиля нагрузки используется 4 критерия. Назовем их "4 критерия Ольгинских дев определения профиля нагрузки OLAP/OLTP." 😀
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
10.02.2025, 23:53:43
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1316431
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ГарынычПривилегированный пользователь
Участник
Тень на плетень  10.02.2025, 23:53:43
[игнорируется]
1316429
4 критерия Ольгинских дев
:))))
...
Рейтинг: 0 / 0
10.02.2025, 23:57:06
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1369642
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Терабайт
Участник
Вышла статья про Basket partitioning. Такая архитектура хранения используется, например в pg awr.

Поправили форматирование. Очень внимательно относимся к замечаниям. Критика приветствуется! 👍

https://habr.com/ru/companies/vtb/articles/894950/
...
Изменено: 30.03.2025, 12:07:05 - Терабайт
Рейтинг: 0 / 0
30.03.2025, 11:58:24
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1369654
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Терабайт
Участник
Сейчас плотно переквалифицируюсь в Data Science. Фактически то чем я занимаюсь этим и является. Сплав математики, архитектур БД и AI.
9b389ab7909bffed8bf8eb3653fb23bf.jpg
...
Изменено: 30.03.2025, 12:27:39 - Терабайт
Рейтинг: 0 / 0
30.03.2025, 12:26:54
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1373387
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Горбатый ёжПривилегированный пользователь
Участник
Терабайт  30.03.2025, 11:58:24
[игнорируется]
1369642
Очень внимательно относимся к замечаниям. Критика приветствуется!
Предлагается руками создавать схемы? Отличное решение!
А удалять партиции вы не умеете или просто не хотите?
...
Рейтинг: 0 / 0
02.04.2025, 22:14:35
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1373398
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
КусьПривилегированный пользователь
Участник
Терабайт  30.03.2025, 12:26:54
[игнорируется]
1369654
Сейчас плотно переквалифицируюсь в Data Science. Фактически то чем я занимаюсь этим и является.
Вот это правильно. Занимайся лучше этой хуйнёй и не лезь ты в базы.
А там и до инфоцыганства недалеко.
...
Рейтинг: 0 / 0
02.04.2025, 22:21:20
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1373403
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
КусьПривилегированный пользователь
Участник
Терабайт  30.03.2025, 11:58:24
[игнорируется]
1369642
Вышла статья про Basket partitioning.
Что мы выявили при таком хранении?
..........................
  • Очистка данных через DELETE не приводит к фактическому уменьшению размера таблицы. Если удаляемых строк миллионы, то удаление может занять значительное время.


Чтобы выяснить, что DML оператор DELETE не приводит к очистке сегментов и освобождению места, вам надо было написать статью про секционирование?
...
Рейтинг: 0 / 0
02.04.2025, 22:29:11
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1373407
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
КусьПривилегированный пользователь
Участник
Теперь самое интересное. Удалим все данные за позавчера:
Код: SQL
1.
DROP SCHEMA basket_20250203 CASCADE;
А зачем эти выкрутасы со схемами и каскадными удалениями, если можно просто сделать DROP/TRUNCATE partition? Это тоже DDL операция, которая не генерит много журнальных данных и по сути обновляет словарь (метаданные), поэтому выполняется она быстро.

Или в PG нельзя удалять/обнулять отдельные партиции?

To remove old data quickly, simply drop the child table that is no longer necessary:
Код: SQL
1.
DROP TABLE measurement_y2006m02;
https://www.postgresql.org/docs/current/ddl-partitioning.html#DDL-PARTITIONING-USING-INHERITANCE
Код: SQL
1.
TRUNCATE ONLY childtablename
https://www.postgresql.org/docs/current/sql-truncate.html
...
Изменено: 02.04.2025, 22:44:01 - Кусь
Рейтинг: 0 / 0
02.04.2025, 22:33:42
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1376762
Фотография Ифрит
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ИфритПривилегированный пользователь
Участник
Терабайт  30.03.2025, 11:58:24
[игнорируется]
1369642
Вышла статья про Basket partitioning. Такая архитектура хранения используется, например в pg awr.

Поправили форматирование. Очень внимательно относимся к замечаниям. Критика приветствуется! 👍

https://habr.com/ru/companies/vtb/articles/894950/
из статьи не понятно - для какой цели в реализации нужны схемы
и что именно значимое вносит термин "корзинное", кроме префикса в имени схем.. %
вот это интригует - может в статье есть какой-то с ходу неуловимый хак...
так-то, чего бы не: public.apple_20250203, public.apple_20250204...
...
Изменено: 06.04.2025, 16:41:15 - Ифрит
Рейтинг: 0 / 0
06.04.2025, 16:39:15
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1378452
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
megabyteПривилегированный пользователь
Участник
Кусь  02.04.2025, 22:33:42
[игнорируется]
1373407
Или в PG нельзя удалять/обнулять отдельные партиции?

To remove old data quickly, simply drop the child table that is no longer necessary:
Код: SQL
1.
DROP TABLE measurement_y2006m02;
https://www.postgresql.org/docs/current/ddl-partitioning.html#DDL-PARTITIONING-USING-INHERITANCE
Код: SQL
1.
TRUNCATE ONLY childtablename
https://www.postgresql.org/docs/current/sql-truncate.html
Конечно можно.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист,
протохохол, желающий поменять родных православных коррупционеров на иноземных,
идейный укр, который родился не в России,
иноагент, но без официального статуса,
имперский гость всея Руси,
либерал, толерантный к империи и ее оркам,
криптокоммуняка,
террорист-экстремист с Литреса,
криптонаглосакс.
Рейтинг: 0 / 0
08.04.2025, 14:49:19
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1378885
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
КусьПривилегированный пользователь
Участник
megabyte  08.04.2025, 14:49:19
[игнорируется]
1378452
Кусь  02.04.2025, 22:33:42
[игнорируется]
1373407
Или в PG нельзя удалять/обнулять отдельные партиции?

To remove old data quickly, simply drop the child table that is no longer necessary:
Код: SQL
1.
DROP TABLE measurement_y2006m02;
https://www.postgresql.org/docs/current/ddl-partitioning.html#DDL-PARTITIONING-USING-INHERITANCE
Код: SQL
1.
TRUNCATE ONLY childtablename
https://www.postgresql.org/docs/current/sql-truncate.html
Конечно можно.
Тогда в чём вообще цимес этой статьй? Автор почему-то молчит как партизан и не хочет общаться с коллегами. Интересно, почему?
...
Рейтинг: 0 / 0
08.04.2025, 22:16:42
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1378895
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
КусьПривилегированный пользователь
Участник
Гарыныч  08.04.2025, 22:20:33
[игнорируется]
1378891
Кусь  08.04.2025, 22:16:42
[игнорируется]
1378885
megabyte [игнорируется] 

Тогда в чём вообще цимес этой статьй? Автор почему-то молчит как партизан и не хочет общаться с коллегами. Интересно, почему?
а почему статья на инглише? Мегачлен не осилил на русском?
Гарыныч, сходи лучше в тему про монаду. Насри там кмаву чёрными властелинами.
...
Рейтинг: 0 / 0
08.04.2025, 22:22:40
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1378900
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ГарынычПривилегированный пользователь
Участник
Кусь  08.04.2025, 22:22:40
[игнорируется]
1378895
Гарыныч  08.04.2025, 22:20:33
[игнорируется]
1378891
Кусь  08.04.2025, 22:16:42
[игнорируется]
1378885
megabyte [игнорируется] 

Тогда в чём вообще цимес этой статьй? Автор почему-то молчит как партизан и не хочет общаться с коллегами. Интересно, почему?
а почему статья на инглише? Мегачлен не осилил на русском?
Гарыныч, сходи лучше в тему про монаду. Насри там кмаву чёрными властелинами.
я знаю только хламидо-монаду.... :)))
...
Рейтинг: 0 / 0
08.04.2025, 22:23:52
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1388982
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Терабайт
Участник
Ифрит  06.04.2025, 16:39:15
[игнорируется]
1376762
Терабайт  30.03.2025, 11:58:24
[игнорируется]
1369642
Вышла статья про Basket partitioning. Такая архитектура хранения используется, например в pg awr.

Поправили форматирование. Очень внимательно относимся к замечаниям. Критика приветствуется! 👍

https://habr.com/ru/companies/vtb/articles/894950/
из статьи не понятно - для какой цели в реализации нужны схемы
и что именно значимое вносит термин "корзинное", кроме префикса в имени схем.. %
вот это интригует - может в статье есть какой-то с ходу неуловимый хак...
так-то, чего бы не: public.apple_20250203, public.apple_20250204...
Схема - это дата. В ней сотни таблиц. Ты удаляешь кучу старых данных.
...
Изменено: 21.04.2025, 00:18:38 - Терабайт
Рейтинг: 0 / 0
21.04.2025, 00:15:09
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1388984
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Терабайт
Участник
Горбатый ёж  02.04.2025, 22:14:35
[игнорируется]
1373387
Терабайт  30.03.2025, 11:58:24
[игнорируется]
1369642
Очень внимательно относимся к замечаниям. Критика приветствуется!
Предлагается руками создавать схемы? Отличное решение!
А удалять партиции вы не умеете или просто не хотите?
Это все делается не руками, а процедурой. Она проверяет при вставке наличие схем за указанную дату. Если ее нет - схема и секции создаются.
...
Рейтинг: 0 / 0
21.04.2025, 00:17:29
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1388988
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Терабайт
Участник
megabyte  08.04.2025, 14:49:19
[игнорируется]
1378452
Кусь [игнорируется] 

Конечно можно.
Здесь нужно не обнулять старые секции, а ваще удалять. Хотя если секционирование по типу LIST - то конечно проще транкейтить. Например те данные которые obsolete. Они сразу переезжают в нужную секцию. И соответственно ничто не мешает их не delete, а truncate. Что гораздо быстрее.
...
Рейтинг: 0 / 0
21.04.2025, 00:21:27
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1388999
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Терабайт
Участник
В общем это хоть и не выглядит сильно впечатляюще как сиськи Мэрлин Монро. Но работает сейчас на десятках тысяч серверов. С совершенно разными профилями. Удаляется пулей. Обслуживания вообще не требует. В этом и была цель. Понимающие люди идею поймут.

Например стат данные размером гигов под 50 через обычный delete могли удаляться часами. А тут за секунду. В этом и профит.
...
Изменено: 21.04.2025, 00:34:31 - Терабайт
Рейтинг: 0 / 0
21.04.2025, 00:30:14
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1389064
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Горбатый ёжПривилегированный пользователь
Участник
Терабайт  21.04.2025, 00:17:29
[игнорируется]
1388984
Горбатый ёж  02.04.2025, 22:14:35
[игнорируется]
1373387
Терабайт  30.03.2025, 11:58:24
[игнорируется]
1369642
Очень внимательно относимся к замечаниям. Критика приветствуется!
Предлагается руками создавать схемы? Отличное решение!
А удалять партиции вы не умеете или просто не хотите?
Это все делается не руками, а процедурой. Она проверяет при вставке наличие схем за указанную дату. Если ее нет - схема и секции создаются.
Ещё раз вопрос.
Зачем делать схемы, если можно удалять партиции?
...
Рейтинг: 0 / 0
21.04.2025, 07:18:16
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1389148
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Горбатый ёж  21.04.2025, 07:18:16
[игнорируется]
1389064
Терабайт  21.04.2025, 00:17:29
[игнорируется]
1388984
Горбатый ёж  02.04.2025, 22:14:35
[игнорируется]
1373387
Терабайт  30.03.2025, 11:58:24
[игнорируется]
1369642
Очень внимательно относимся к замечаниям. Критика приветствуется!
Предлагается руками создавать схемы? Отличное решение!
А удалять партиции вы не умеете или просто не хотите?
Это все делается не руками, а процедурой. Она проверяет при вставке наличие схем за указанную дату. Если ее нет - схема и секции создаются.
Ещё раз вопрос.
Зачем делать схемы, если можно удалять партиции?
Потому что удалить схему - это гораздо проще. Не нужно делать DEATTACH секции каждой, затем DROP TABLE по каждой таблице. Их может быть сотни.

DROP SCHEMA CASCADE - делает всё сама.

Если у вас так секционирована одна или несколько таблиц - здесь вы правы, городить баскеты может быть избыточно.
...
С уважением, КѢдра МiтрейЪ.
Изменено: 21.04.2025, 10:20:41 - Тень на плетень
Рейтинг: 0 / 0
21.04.2025, 10:18:32
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1389152
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Горбатый ёжПривилегированный пользователь
Участник
Тень на плетень  21.04.2025, 10:18:32
[игнорируется]
1389148
Потому что удалить схему - это гораздо проще. Не нужно делать DEATTACH секции каждой, затем DROP TABLE по каждой таблице. Их может быть сотни.
Цитата 
[игнорируется]
ALTER TABLE sales DROP PARTITION FOR ('2023-01-01'::date);
...
Рейтинг: 0 / 0
21.04.2025, 10:24:39
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1389157
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Да, можно так. Теперь сравни:

Ситуация 1:

ALTER TABLE sales DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE invoice DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE order DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE gl DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE backs DROP PARTITION FOR ('2023-01-01'::date);

и Ситуация 2:

DROP SCHEMA data_20230101 CASCADE;

Что проще? Собственно все.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
21.04.2025, 10:29:48
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1389166
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Горбатый ёжПривилегированный пользователь
Участник
То есть кучу таблиц в одну схему...
В этом смысле.

Всё равно это какая-то ненужная ерунда, потому что это полёт фантазии на определённую тему. Непонятный отказ от использования стандартного встроенного инструментария. Профит от этого очень сомнителен.
Что касается количества команд, то наверное ты сможешь перечитать сам себя
Терабайт  21.04.2025, 00:17:29
[игнорируется]
1388984
Это все делается не руками, а процедурой.
Кстати и вот это
Тень на плетень  21.04.2025, 10:29:48
[игнорируется]
1389157
ALTER TABLE sales DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE invoice DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE order DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE gl DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE backs DROP PARTITION FOR ('2023-01-01'::date);
с лёгкостью заменяется циклом в той самой процедуре. При этом получаешь одну процедуру для удаления партиций и не занимаешься созданием схем при добавлении новой партиционированной таблицы.
...
Рейтинг: 0 / 0
21.04.2025, 10:38:57
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1389185
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Это излишнее усложнение процедуры. Можешь какую то из таблиц забыть.
А может и такое случиться что по какой то таблице данных за это число нет вообще. И нет секции.

Здесь же не нужно думать ни о чем кроме даты.

Процедура просто перебирает все даты менее определенной. Нужно просто сгенерить: DROP SCHEMA data_xxxxxxxxxx CASCADE по условию:
Код: SQL
1.
... where schema_name < 'data_20230101'
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
21.04.2025, 10:52:52
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1389197
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Вот пример кода удаления данных по баскетам старше 9 дней. Работает и на кластере PG
Код: SQL
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
CREATE OR REPLACE FUNCTION delete_obsolete(d integer)
RETURNS void
LANGUAGE plpgsql
STRICT
AS $function$
declare
  r record;
  node_role bool;
  schema_nm varchar ='';
  schema_to varchar = '';
  r1 record;
  tmp1 record;
begin
  set search_path=data,public,pg_catalog;
    select into node_role pg_is_in_recovery();
    raise notice 'Delete obsolete schemas.';
    raise notice '==============================================';
    raise notice 'Node role in cluster is replica?: %', node_role;
    if node_role = false then
       raise notice 'LEADER: start procedure.';
           -- delete old schemas data_, older then 9 days
           select into schema_to 'data_'||TO_CHAR (now()- interval '9 days', 'YYYYMMDD_HHMMSS');
           for r1 in
             select schema_name FROM information_schema.schemata WHERE schema_name like 'data_2%'
           loop
                raise notice '> % : ',r1.schema_name;
                if r1.schema_name < schema_to then
                     raise notice 'delete schema % : ',r1.schema_name;
                      execute 'drop schema ' || r1.schema_name || ' cascade;';
                end if;
           end loop;
       else
             raise notice 'REPLICA: skip procedure.';
    end if;
    raise notice 'Delete obsolete schemas finished.';
    raise notice '==============================================';
  reset search_path;
end;
$function$
;
...
С уважением, КѢдра МiтрейЪ.
Изменено: 21.04.2025, 11:05:32 - Тень на плетень
Рейтинг: 0 / 0
21.04.2025, 11:04:05
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1389205
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Горбатый ёжПривилегированный пользователь
Участник
Тень на плетень  21.04.2025, 10:52:52
[игнорируется]
1389185
Можешь какую то из таблиц забыть.
Существует более одного механизма указания списка таблиц, подлежащих периодической чистке. В любом случае полезно знать что у тебя чистится и с какой периодичностью, оправдывать отказ от стандартного инструментария склерозом - это как минимум странно. В твоём же случае создание новой партиционированной таблицы - процесс нетипичный, что может вызвать проблемы в том случае, когда знающий человек уволится, а заниматься этим будет новичок. Поддержка такой нестандартной архитектуры тоже может быть очень невыгодным занятием.
Тень на плетень  21.04.2025, 10:52:52
[игнорируется]
1389185
А может и такое случиться что по какой то таблице данных за это число нет вообще. И нет секции.
И что? Писать код без обработки ошибок - это плохо, а обработка ошибок сводит на нет этот аргумент.
Тень на плетень  21.04.2025, 10:52:52
[игнорируется]
1389185
Процедура просто перебирает все даты менее определенной.
И чем это отличается от моего варианта?
Тем, что по нему статью не напишешь?
...
Рейтинг: 0 / 0
21.04.2025, 11:11:00
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1389215
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Цитата 
[игнорируется]
И чем это отличается от моего варианта?
По сути ничем. Только архитектурой. О ней и была речь.
Цитата 
[игнорируется]
Тем, что по нему статью не напишешь?
Почему? Хорошие практики работы с секционированными таблицами всем интересны.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарыныч
21.04.2025, 11:22:40
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1429097
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Письмо пришло. )
Цитата 
[игнорируется]
Владимир, добрый день!

Ваша статья на Хабре про секционирование в PostgreSQL стала лучшей за последние полгода. Если у вас еще есть идеи для материалов на Хабр, пожалуйста, обращайтесь. У нас есть опция написания статей руками авторов Хабра от нашего имени, по нашей теме и при полном согласовании с нами.

Хорошего дня!
__________
П***** В*****
Руководитель проекта
Департамент по взаимодействию со СМИ
Технологический блок ВТБ
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
06.06.2025, 13:22:05
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1429124
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ГарынычПривилегированный пользователь
Участник
Тень на плетень  06.06.2025, 13:22:05
[игнорируется]
1429097
Письмо пришло. )
Цитата 
[игнорируется]
Владимир, добрый день!

Ваша статья на Хабре про секционирование в PostgreSQL стала лучшей за последние полгода. Если у вас еще есть идеи для материалов на Хабр, пожалуйста, обращайтесь. У нас есть опция написания статей руками авторов Хабра от нашего имени, по нашей теме и при полном согласовании с нами.

Хорошего дня!
__________
П***** В*****
Руководитель проекта
Департамент по взаимодействию со СМИ
Технологический блок ВТБ
Круто!
...
Изменено: 06.06.2025, 14:13:05 - Гарыныч
Рейтинг: 0 / 0
06.06.2025, 14:12:51
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1430465
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
КусьПривилегированный пользователь
Участник
Горбатый ёж  21.04.2025, 11:11:00
[игнорируется]
1389205
И чем это отличается от моего варианта?
Тем, что по нему статью не напишешь?
И тем, что не придёт благодарность от Департамента по взаимодействию со СМИ ВТБ.
...
Рейтинг: 0 / 0
08.06.2025, 21:56:08
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1437670
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Терабайт
Участник
Запилил мануал по pg АВР 4.1.3.

Ну как мануал. Почти книжка, брошюра. Правда коллега шутит что это Курсовая. Ну а чо. Если есть целые две математические формулы :)))

Накрутили в АВР уже конечно мощно. Появилось понятие администрирования АВР. Авто кастомизации, модульность.

Оказывается купить вы его уже можете. Но он идёт только с поддержкой. Стоит правда хз сколько.
PR AWR manual.pdf
PR AWR manual.pdf
...
Изменено: 18.06.2025, 23:55:02 - Терабайт
Рейтинг: 1 / 0
Нравится: Ифрит
18.06.2025, 23:47:58
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1439527
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
КусьПривилегированный пользователь
Участник
Терабайт  18.06.2025, 23:47:58
[игнорируется]
1437670
Запилил мануал по pg АВР 4.1.3.

Ну как мануал. Почти книжка, брошюра. Правда коллега шутит что это Курсовая. Ну а чо. Если есть целые две математические формулы :)))

Накрутили в АВР уже конечно мощно. Появилось понятие администрирования АВР. Авто кастомизации, модульность.

Оказывается купить вы его уже можете. Но он идёт только с поддержкой. Стоит правда хз сколько.
PR AWR manual.pdf
PR AWR manual.pdf
У индейца появляется конкурент. Уже продаёт поддержку с лицензией. [:prankster]
...
Рейтинг: 0 / 0
22.06.2025, 00:19:07
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1439609
Фотография Ифрит
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
ИфритПривилегированный пользователь
Участник
Терабайт  18.06.2025, 23:47:58
[игнорируется]
1437670
Запилил мануал по pg АВР 4.1.3.

Ну как мануал. Почти книжка, брошюра. Правда коллега шутит что это Курсовая. Ну а чо. Если есть целые две математические формулы :)))

Накрутили в АВР уже конечно мощно. Появилось понятие администрирования АВР. Авто кастомизации, модульность.

Оказывается купить вы его уже можете. Но он идёт только с поддержкой. Стоит правда хз сколько.
PR AWR manual.pdf
PR AWR manual.pdf
Цитата 
[игнорируется]
Система использует только глобальные представления, без необходимости в использовании
Discoverer для баз данных, и построения dblink внутри инстанса.
не дочитал, пока, возможно.. снимки с реплик - нету.. ?
очень полезно, в презентации не увидел явно
* в оракле штатно только в 12.2 появилось (

* по хорошему бы наглядное сравнение с pg_profile/pgpro_pwr
коль уж упоминаются в презентации продукта
а почему бы и нет )

* хотя, да, дальше становится понятнее )
но почему бы не акцентировать ))
...
Изменено: 22.06.2025, 09:20:07 - Ифрит
Рейтинг: 0 / 0
22.06.2025, 09:05:52
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1439613
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Терабайт
Участник
Ифрит  22.06.2025, 09:05:52
[игнорируется]
1439609
не дочитал, пока, возможно.. снапшоты с реплик - нету.. ?
очень полезно бы

* по хорошему бы наглядное сравнение с pg_profile/pgpro_pwr
коль уж упоминаются в презентации продукта
а почему бы и нет )

* хотя, да, дальше становится понятнее ) но почему бы не акцентировать ))
С реплики нет снимков. Но в нашей целевой архитектуре это и не нужно, т.к. haproxy перенаправляет запросы на лидер кластера. То есть выполнение запросов с синхронной реплики не приветствуется, т.к. какие то тяжёлые запросы на реплике могут аффектить лидер, вследствии чего на нем возникать ожидания SyncRepl.

Отличия от pg_profile:
1. Снимки делаются без сброса статистики pg_stat_statements. То есть математика получения данных в интервале времени не интегральная, а дифференциальная.
2. Сделан акцент на получение общих данных инстанса целиком без деталировки по БД отдельно. Нет например статисти по таблицам и индексам. Но при этом больше системных данных. Реализован полноценный Active session history, как связка pg_stat_activity + top + io. То есть в pg_stat_activity добавлена информация по утилизации ЦПУ, памяти и вводу выводу конкретным процессом/сессией.
3. Есть модульность. Разные метрики собираются с разной периодичности. И сборку отдельных метрик можно отключать.
4. Есть автокастомизации. То есть на очень высоких нагрузках и объемах статистических данных модули поднастратваются по параметрам чтобы обеспечить живучесть.
5. В отличие от pg_profile, в pg_awr снимки делаются быстрее. Типовое время на нагруженной системе не более 0.3-0.4 сек. Против 6 сек на pg_profile. То есть при необходимости интервал снимков может быть и Оракловым для ASH - 1 сек.
...
Рейтинг: 0 / 0
22.06.2025, 09:33:18
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1439615
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Терабайт
Участник
Исправил кое какие неточности в документации. Релиза версии 4.1.3 пока не было, ожидаем в конце недели.

(Но Базя уменьшил лимит вложений [:cry]) Если кому нужно - пишите в ЛС
Screenshot_20250622-093955~2.png
...
Рейтинг: 0 / 0
22.06.2025, 09:41:42
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1439617
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Терабайт
Участник
В pg awr ещё такой двойной DB Time. В Оракле только по ASH.
Screenshot_20250622-094544~2.png
DB Time ASH – берется из представления pg_stat_activity с дискретизацией сбора снимков. Чем
меньше интервал сбора снимков, тем точнее это значение. Она учитывает откаченные и
незавершенные сессии.

DB Time commited - берется из представления pg_stat_statements, и не учитывает откаченные или
незавершенные сессии. Дискретизация сбора метрик здесь значения не имеет в силу специфики
работы pg_stat-statements.

DB Time по метрике ASH и Commited может быть больше интервала между снимками отчета по
поятным причинам, не IDLE сессий может быть много, и это время суммируется. То есть, например,
если в интервале отчетов 1 мин было 10 активных сессий, но которые продолжали работу и
выполняли 1 запрос в каждой из них, то DB Time ASH будет 10 мин. Если запросы при этом не
завершились или были откачены, то DB Time commited будет равно 0.

В целом соотношение между DB Time ASH и DB Time commited характеризует профиль нагрузки.
При высоком значении DB Time ASH и меньшем DB Time commited – соответствует OLAP нагрузке.
Если наоборот, то OLTP.

DB Time полезен для того чтобы сравнить профили нагрузки системы в разных интервалах времени и для анализа отклонений. Например, когда система декларирована
архитектурой как OLTP, но ведет себя как OLAP – это может говорить о наличии проблем, длинных
запросов, и может потребовать их оптимизации.
...
Изменено: 22.06.2025, 09:51:01 - Терабайт
Рейтинг: 0 / 0
22.06.2025, 09:49:53
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1485046
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Приехал на WD 2025 Summer. Попросили рассказать о PG AWR. Вобщем будет доклад минут на 30. Будут слушать серьезные люди.

Начало в 11:00. Но приехал пораньше и.к. нужно отладить техническую часть.
IMG_20250807_084137_1.jpg
...
С уважением, КѢдра МiтрейЪ.
Изменено: 07.08.2025, 08:44:58 - Тень на плетень
Рейтинг: 1 / 0
Нравится: IT-Клоп
07.08.2025, 08:44:13
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1581020
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
В сентябре вышел pg awr 4.1.3. Финальная документация во вложении.
PR AWR manual (1).pdf
PR AWR manual (1).pdf
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
10.11.2025, 15:34:55
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1581026
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Выходим на уровень ЦБ. )
Screenshot_20251110-153709~2.png
...
С уважением, КѢдра МiтрейЪ.
Изменено: 10.11.2025, 15:38:08 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарын
10.11.2025, 15:38:00
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1663969
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Скоро ожидается выход новой моей статьи на Хабр и выступление на ближайшем PgConf 2026.

Тема весьма интересная, это фактическое определение профилей нагрузки БД. У вас есть шанс назвать формулу своим именем и прославится на весь Мир на уровне Кодда или Ларри Элисона. Мы пока сами на докопали, но куда копать я расскажу на конференции.
...
С уважением, КѢдра МiтрейЪ.
Изменено: 14.02.2026, 19:21:49 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарын
14.02.2026, 01:43:23
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1663970
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Эксклюзив. Шаблон презентации, о чем речь. Это ещё никто не видел.
VAKhaymin_pgconf2025_olap_oltp.pptx
VAKhaymin_pgconf2025_olap_oltp.pptx
...
С уважением, КѢдра МiтрейЪ.
Изменено: 14.02.2026, 08:40:23 - Тень на плетень
Рейтинг: 0 / 0
14.02.2026, 01:47:12
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1664054
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
КусьПривилегированный пользователь
Участник
Тень на плетень  14.02.2026, 01:43:23
[игнорируется]
1663969
Скоро ожидается выход новой моей статьи на Хабр и выступление на ближайшем PgConf 2026.

Тема весьма интересная, это фактическое определение профилей нагрузки БД. У вас есть шанс назвать формулу своим именем и прославится на весь Мир на уровне Кодла или Ларри Элисона. Мы пока сами на докопали, но куда копать я расскажу на конференции.
Лучше матери Паника карту помогите закрыть, копатели хреновы.
...
Рейтинг: 0 / 0
14.02.2026, 10:50:57
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1664267
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Кусь  14.02.2026, 10:50:57
[игнорируется]
1664054
Тень на плетень  14.02.2026, 01:43:23
[игнорируется]
1663969
Скоро ожидается выход новой моей статьи на Хабр и выступление на ближайшем PgConf 2026.

Тема весьма интересная, это фактическое определение профилей нагрузки БД. У вас есть шанс назвать формулу своим именем и прославится на весь Мир на уровне Кодла или Ларри Элисона. Мы пока сами на докопали, но куда копать я расскажу на конференции.
Лучше матери Паника карту помогите закрыть, копатели хреновы.
За конференции бабки не дают. Паник пусть сам занимается своей матерью. Чай не инвалид, взрослый мужик. С Рыбой сношается, на нее бабки тратит.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарын
14.02.2026, 19:21:10
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1664372
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
КусьПривилегированный пользователь
Участник
Тень на плетень  14.02.2026, 19:21:10
[игнорируется]
1664267
Кусь  14.02.2026, 10:50:57
[игнорируется]
1664054
Тень на плетень  14.02.2026, 01:43:23
[игнорируется]
1663969
Скоро ожидается выход новой моей статьи на Хабр и выступление на ближайшем PgConf 2026.

Тема весьма интересная, это фактическое определение профилей нагрузки БД. У вас есть шанс назвать формулу своим именем и прославится на весь Мир на уровне Кодла или Ларри Элисона. Мы пока сами на докопали, но куда копать я расскажу на конференции.
Лучше матери Паника карту помогите закрыть, копатели хреновы.
За конференции бабки не дают. Паник пусть сам занимается своей матерью. Чай не инвалид, взрослый мужик. С Рыбой сношается, на нее бабки тратит.
Сношаться с Рыбой опасно для жилплощади. Он с огнём играет. [:grin]
...
Рейтинг: 0 / 0
14.02.2026, 21:12:37
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1664405
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PaNik ✓Привилегированный пользователь
Участник
[игнорирует гостей]
Тень на плетень  14.02.2026, 19:21:10
[игнорируется]
1664267
С Рыбой сношается
Я сцаный подмосковный нищеброд! мне такое не повзолено
...
В комнате моей туманы-маны... Взорвались кондёры хуанана ...
Рейтинг: 0 / 0
14.02.2026, 22:49:06
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1664678
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
КусьПривилегированный пользователь
Участник
PaNik  14.02.2026, 22:49:06
[игнорируется]
1664405
Тень на плетень  14.02.2026, 19:21:10
[игнорируется]
1664267
С Рыбой сношается
Я сцаный подмосковный нищеброд! мне такое не повзолено
И просто чудак.
...
Рейтинг: 0 / 0
15.02.2026, 12:21:15
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1687256
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Запилил новую статью на Хабре. На этот раз снова про мониторинг. Об определении фактического профиля нагрузки БД.

В принципе это Data Science. Чистая статистика.

https://habr.com/ru/companies/vtb/articles/1011188/
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
17.03.2026, 12:40:43
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1687865
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Тень на плетень  17.03.2026, 12:40:43
[игнорируется]
1687256
Запилил новую статью на Хабре. На этот раз снова про мониторинг. Об определении фактического профиля нагрузки БД.

В принципе это Data Science. Чистая статистика.

https://habr.com/ru/companies/vtb/articles/1011188/
Реакция.
Screenshot_20260317-234009.png
Screenshot_20260317-234019.png
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарын
17.03.2026, 23:41:12
| Ответить | Цитировать | Написать  
Запилил статью на Хабре
    #1688020
defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
defecator
Участник
Оракел - сила !
...
Рейтинг: 0 / 0
18.03.2026, 09:49:04
| Ответить | Цитировать | Написать | Ответы  
Запилил статью на Хабре
    #1698550
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Тень на плетень
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Оценка статьи со стороны ИИ.

Исходя из содержания статьи, её практическая ценность очень высока, особенно для команд, которые эксплуатируют PostgreSQL в условиях нестабильной или смешанной нагрузки.

Вот ключевые аспекты, которые можно применить на практике прямо сейчас:

1. Чёткий метод диагностики «настроение БД»

Автор предлагает простой, но мощный приём: смотреть не на каждый график по отдельности, а на комбинацию state + wait_event + wait_event_type из pg_stat_activity.

· Что даёт на практике: Быстро отличать нормальную работу CPU (active/NULL) от проблем ввода-вывода (active/DataFileRead/IO), блокировок (active/relation/Lock) или «зависших» транзакций приложения (idle in transaction/ClientRead/Client).
· Как применить: Вы можете прямо сейчас написать скрипт мониторинга (Zabbix, Prometheus), который строит график с этими комбинациями — это заменит десятки других графиков для быстрой оценки ситуации.

2. Объективная формула профиля нагрузки (OLTP ↔ OLAP)

Главное новшество — метрика Profile ratio на основе сравнения DB Time (ASH) и DB Time (committed).

· В чём суть: Она показывает, каких запросов больше в интервале — коротких транзакционных (OLTP) или длинных аналитических (OLAP).
· Практические действия: Если для системы, задуманной как OLTP, коэффициент вдруг стал выше 500-700 (особенно при интервале сбора 1-5 минут), вы получаете ранний триггер. Это повод проверить:
· Не появились ли неоптимальные отчёты на продуктивной БД.
· Хватает ли shared_buffers (иначе много DataFileRead).
· Не пора ли менять архитектуру (индексы, секционирование).

3. Отдельный алгоритм для Archive Database (критично для больших инфраструктур)

Автор детально разбирает риски, когда архивную БД («только чтение, редкие запросы») начинают использовать как обычную продуктивную.

· Главная опасность: У архивных БД обычно минимум индексов, слабые ресурсы (CPU/RAM) и очень редкие бекапы (раз в квартал/год). Внезапная OLTP-нагрузка разрушит производительность, а случайное удаление данных будет невосстановимо.
· Практический вывод: Внедрите мониторинг этой самой метрики Profile ratio специально для архивных систем. Как только она отклоняется от «около 0» (долгие запросы) или «около 1000» (пакетная загрузка) — срочно проверять, не начали ли её использовать как «скрытый продуктив».

4. Готовые рекомендации по интервалу сбора

Автор приводит эмпирические данные, что оптимальный интервал сбора метрик ∆t для Profile ratio — от 2 до 7 минут (удобнее 5 минут). Это избавит вас от ошибок (слишком малый интервал сольёт все профили в OLAP, слишком большой — сделает их неразличимыми).

Главное ограничение для практики

Метод требует накопления истории снимков pg_stat_activity и pg_stat_statements в вашей системе мониторинга. Если у вас их нет, то «с нуля» вы получите только текущий срез. Но настроить сбор этих данных — задача на несколько часов, а выгода от предложенного подхода будет постоянной.

Краткий вердикт: Это не просто теоретическая статья, а готовый инструментарий для инженеров. Вы можете взять предложенные SQL-запросы, формулы и пороговые значения и внедрить их в свою систему мониторинга PostgreSQL уже на следующей неделе.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарын
31.03.2026, 00:00:40
| Ответить | Цитировать | Написать  
75 сообщений из 75, показаны все 3 страниц
  все  
Форумы / PostgreSQL [закрыт для гостей] / Запилил статью на Хабре
Модераторы: Тень на плетень
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (0):
Читали форум (0):
Пользователи онлайн (0):
Польз. соглашение   Полит. конфиден.  
ReSQL.ru       Кролег: Проекты, Новости, Чат       РЕД ФОРУМ       Пашэ: Рисунки, Танки, Чат       Деда: Фотоальбом, Встречи       Чоткий форум
Закрыть
start [/forum/topic.php?all=1&fid=19&tid=17732]:
 0ms
get settings:
 10ms
get forum list:
 14ms
check forum access:
 3ms
check topic access:
 3ms
track hit:
 34ms
get topic data:
 13ms
get forum data:
 3ms
get page messages:
 202ms
get tp. blocked users:
 1ms
others: 51ms
total:  334ms
созд. / загр.: 334ms
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]