powered by simpleCommunicator - 2.0.46     © 2025 Programmizd 02
Форумы / PostgreSQL [закрыт для гостей] / Запилил статью на Хабре
61 сообщений из 61, показаны все 3 страниц
Запилил статью на Хабре
    #802594
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Это о миграции из Оракла в Постгрес. Критика приветствуется, т.к. мы все в одной лодке.)

https://habr.com/ru/companies/vtb/articles/819133/

Статья получилась длинноватая но я изложил все что есть на самом деле. Надеюсь что найдутся умные молодые люди которые смогут отшлифовать этот концепт до совершенства. Я фактически изложил главные идеи.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802597
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Тень на плетень  12.06.2024, 22:16
[игнорируется]
Это о миграции из Оракла в Постгрес. Критика приветствуется, т.к. мы все в одной лодке.)

https://habr.com/ru/companies/vtb/articles/819133/

Статья получилась длинноватая но я изложил все что есть на самом деле. Надеюсь что найдутся умные молодые люди которые смогут отшлифовать этот концепт до совершенства. Я фактически изложил главные идеи.
а можно ещё где-нить? хабр не открывается в Ростелекоме :(((
2024-06-12_22-18-44.png
...
Изменено: 12.06.2024, 22:19 - Гарыныч
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802600
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Гарыныч  12.06.2024, 22:18
[игнорируется]
Тень на плетень  12.06.2024, 22:16
[игнорируется]
Это о миграции из Оракла в Постгрес. Критика приветствуется, т.к. мы все в одной лодке.)

https://habr.com/ru/companies/vtb/articles/819133/

Статья получилась длинноватая но я изложил все что есть на самом деле. Надеюсь что найдутся умные молодые люди которые смогут отшлифовать этот концепт до совершенства. Я фактически изложил главные идеи.
а можно ещё где-нить? хабр не открывается в Ростелекоме :(((
Странное дело. Но да я могу и тут ее репостить.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802607
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
В общем в Яндексе набери:

Как мы мигрировали из Oracle в PostgreSQL

И там открой сохраненную копию. Должно сработать.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802613
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Тень на плетень  12.06.2024, 22:20
[игнорируется]
Гарыныч  12.06.2024, 22:18
[игнорируется]
Тень на плетень  12.06.2024, 22:16
[игнорируется]
Это о миграции из Оракла в Постгрес. Критика приветствуется, т.к. мы все в одной лодке.)

https://habr.com/ru/companies/vtb/articles/819133/

Статья получилась длинноватая но я изложил все что есть на самом деле. Надеюсь что найдутся умные молодые люди которые смогут отшлифовать этот концепт до совершенства. Я фактически изложил главные идеи.
а можно ещё где-нить? хабр не открывается в Ростелекоме :(((
Странное дело. Но да я могу и тут ее репостить.
ок, хотелось бы почитать...\
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802615
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Гарыныч  12.06.2024, 22:26
[игнорируется]
Тень на плетень  12.06.2024, 22:20
[игнорируется]
Гарыныч  12.06.2024, 22:18
[игнорируется]
Тень на плетень  12.06.2024, 22:16
[игнорируется]
Это о миграции из Оракла в Постгрес. Критика приветствуется, т.к. мы все в одной лодке.)

https://habr.com/ru/companies/vtb/articles/819133/

Статья получилась длинноватая но я изложил все что есть на самом деле. Надеюсь что найдутся умные молодые люди которые смогут отшлифовать этот концепт до совершенства. Я фактически изложил главные идеи.
а можно ещё где-нить? хабр не открывается в Ростелекоме :(((
Странное дело. Но да я могу и тут ее репостить.
ок, хотелось бы почитать...\
Ну ты не только читай. Еще в комментах сри 😀
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802617
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Тень на плетень  12.06.2024, 22:23
[игнорируется]
Как мы мигрировали из Oracle в PostgreSQL
https://pgconf.ru/media/2016/02/19/03 - Игнатов pgconf2016_ora_to_pg.pdf

это оно?
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802633
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Гарыныч  12.06.2024, 22:27
[игнорируется]
Тень на плетень  12.06.2024, 22:23
[игнорируется]
Как мы мигрировали из Oracle в PostgreSQL
https://pgconf.ru/media/2016/02/19/03 - Игнатов pgconf2016_ora_to_pg.pdf

это оно?
Нет это не это. Смотри именно ссылки на Хабр. Других нет. Это свежая статья, дня 2 наверное ей.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802637
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Тень на плетень  12.06.2024, 22:40
[игнорируется]
Гарыныч  12.06.2024, 22:27
[игнорируется]
Тень на плетень  12.06.2024, 22:23
[игнорируется]
Как мы мигрировали из Oracle в PostgreSQL
https://pgconf.ru/media/2016/02/19/03 - Игнатов pgconf2016_ora_to_pg.pdf

это оно?
Нет это не это. Смотри именно ссылки на Хабр. Других нет. Это свежая статья, дня 2 наверное ей.
млять, у мну Хабр не открывается :(((
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802639
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Гарыныч  12.06.2024, 22:42
[игнорируется]
Тень на плетень  12.06.2024, 22:40
[игнорируется]
Гарыныч  12.06.2024, 22:27
[игнорируется]
Тень на плетень  12.06.2024, 22:23
[игнорируется]
Как мы мигрировали из Oracle в PostgreSQL
https://pgconf.ru/media/2016/02/19/03 - Игнатов pgconf2016_ora_to_pg.pdf

это оно?
Нет это не это. Смотри именно ссылки на Хабр. Других нет. Это свежая статья, дня 2 наверное ей.
млять, у мну Хабр не открывается :(((
ухтыж, а это открылося :
https://habr.com/ru/companies/slurm/articles/664202/
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802640
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Гарыныч  12.06.2024, 22:42
[игнорируется]
Тень на плетень  12.06.2024, 22:40
[игнорируется]
Гарыныч  12.06.2024, 22:27
[игнорируется]
Тень на плетень  12.06.2024, 22:23
[игнорируется]
Как мы мигрировали из Oracle в PostgreSQL
https://pgconf.ru/media/2016/02/19/03 - Игнатов pgconf2016_ora_to_pg.pdf

это оно?
Нет это не это. Смотри именно ссылки на Хабр. Других нет. Это свежая статья, дня 2 наверное ей.
млять, у мну Хабр не открывается :(((
Я тебе и говорю, что открой копию поисковика. Но наверное это надо делать с компа. В телефонных браузерах почему то такого нет. Ну ничего. Тут тоже запилю )
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802643
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Тень на плетень  12.06.2024, 22:44
[игнорируется]
Гарыныч  12.06.2024, 22:42
[игнорируется]
Тень на плетень  12.06.2024, 22:40
[игнорируется]
Гарыныч  12.06.2024, 22:27
[игнорируется]
Тень на плетень  12.06.2024, 22:23
[игнорируется]
...
https://pgconf.ru/media/2016/02/19/03 - Игнатов pgconf2016_ora_to_pg.pdf

это оно?
Нет это не это. Смотри именно ссылки на Хабр. Других нет. Это свежая статья, дня 2 наверное ей.
млять, у мну Хабр не открывается :(((
Я тебе и говорю, что открой копию поисковика. Но наверное это надо делать с компа. В телефонных браузерах почему то такого нет. Ну ничего. Тут тоже запилю )
вот ето тоже открылося:
https://habr.com/ru/companies/vtb/articles/819133/
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802645
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Тень на плетень  12.06.2024, 22:44
[игнорируется]
В телефонных браузерах почему то такого нет.
я с компа в инете , мне нафих не упёрлися гаджеты
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802651
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Да оно, вот на всякий скрины.
Screenshot_20240612_224423_com.huawei.browser_edit_934214884692343.jpg
Screenshot_20240612_224506_com.huawei.browser.jpg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802655
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Еще.
Screenshot_20240612_224517_com.huawei.browser.jpg
Screenshot_20240612_224528_com.huawei.browser.jpg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802667
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Тень на плетень  12.06.2024, 22:49
[игнорируется]
Да оно, вот на всякий скрины.
Screenshot_20240612_224423_com.huawei.browser_edit_934214884692343.jpg
Screenshot_20240612_224506_com.huawei.browser.jpg
Тут конечно есть крамола в графиках. Оракловый SQL Developer, прикрученный драйвером в Postgres. Надеюсь не заметят. 😅
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802764
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Тень на плетень  12.06.2024, 22:49
[игнорируется]
Да оно, вот на всякий скрины.
Screenshot_20240612_224423_com.huawei.browser_edit_934214884692343.jpg
Screenshot_20240612_224506_com.huawei.browser.jpg
пасиб!
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #802766
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
зы:? а теле2 - нынче рулёз? в дрочко - телефонии?
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #803093
Фотография Green
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Тень на плетень  12.06.2024, 22:16
[игнорируется]
Это о миграции из Оракла в Постгрес. Критика приветствуется, т.к. мы все в одной лодке.)

https://habr.com/ru/companies/vtb/articles/819133/

Статья получилась длинноватая но я изложил все что есть на самом деле. Надеюсь что найдутся умные молодые люди которые смогут отшлифовать этот концепт до совершенства. Я фактически изложил главные идеи.
Мне нравится, хорошая, профессиональная работа.
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1270648
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Вобщем по результатам моя статья оказалась лучшей из всех за 2024 для ВТБ.

Шеф поздравил с выходом в лидеры. [:drink]
Screenshot_20241227_194647.jpg
В след году планируется выход еще двух статей.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 2 / 0
Нравится: CerebroSQL, Гарыныч
Запилил статью на Хабре
    #1311783
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Написал новую статью. Об эффетивных методах секционировании штатными средствами PostgreSQL. О т.н. Корзинном секционировании (Basket patitioning) Очень крутая вещь, позволяющая быстро через DDL операции удалять огромные массивы устаревших данных. После чего итоговые таблицы не нуждаются в обслуживании.

Применимо для OLTP профилей нагрузки. Как опубликуют, скину ссылку.

Статья тоже от банковского аккаунта. Но комментировать буду из под своего.
...
С уважением, КѢдра МiтрейЪ.
Изменено: 06.02.2025, 00:11 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
Запилил статью на Хабре
    #1312088
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Вот так примерно выглядит работа над статьей. ) Вы тоже пишите. Делитесь с сообществом своими находками.
IMG_20250206_102208.jpg
Это Титул, специфика Хабра. Картинку сгенерил при помощи ИИ в Шедеврум. Но это шаблон. Дизайнер еще допилит.
IMG_20250206_102223.jpg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1316387
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  06.02.2025, 00:07
[игнорируется]
Basket patitioning
Термин сам придумал?
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных,
идейный укр, который родился не в России
иноагент, но без официального статуса
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1316407
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Гарыныч  10.02.2025, 23:09
[игнорируется]
Мегачлен, там опечатка же
Где? Может и есть.

Да термин и архитектура - мое.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1316416
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Гарыныч  10.02.2025, 23:27
[игнорируется]
Тень на плетень  06.02.2025, 00:07
[игнорируется]
О т.н. Корзинном секционировании (Basket patitioning)
вот тут мегачлен увидел знакомые буковки :)))) и решил дое@@@ца до очепятки :)))
А понял. 😀 Ну поправим, это черновик )

Вообще у меня есть еще термин " виртуальное секционирование". Когда одна большая таблица в определении fdw разбивается на кучу мелких секций с диапазонами прямым запросом. Это удобно для многопоточного переноса.
...
С уважением, КѢдра МiтрейЪ.
Изменено: 10.02.2025, 23:48 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
Запилил статью на Хабре
    #1316424
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Когда я учился в аспирантуре ОИВТ РАН, шеф нам говорил, что если вы не можете найти название чему то - не ссыте , придумываете его сами. :))) Вот и я не ссу, придумываю )
...
С уважением, КѢдра МiтрейЪ.
Изменено: 10.02.2025, 23:47 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
Запилил статью на Хабре
    #1316429
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Вот еще интересна проблема возникла. По определению фактического профиля нагрузки. OLAP он или OLTP. И собственно если система заявлена как OLAP, но на самом деле ведет себя как OLTP или наоборот, это должно быть видно в мониторинге.

Для определения профиля нагрузки используется 4 критерия. Назовем их "4 критерия Ольгинских дев определения профиля нагрузки OLAP/OLTP." 😀
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1316431
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Тень на плетень  10.02.2025, 23:53
[игнорируется]
4 критерия Ольгинских дев
:))))
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1369642
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вышла статья про Basket partitioning. Такая архитектура хранения используется, например в pg awr.

Поправили форматирование. Очень внимательно относимся к замечаниям. Критика приветствуется! 👍

https://habr.com/ru/companies/vtb/articles/894950/
...
Изменено: 30.03.2025, 12:07 - Терабайт
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1369654
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Сейчас плотно переквалифицируюсь в Data Science. Фактически то чем я занимаюсь этим и является. Сплав математики, архитектур БД и AI.
9b389ab7909bffed8bf8eb3653fb23bf.jpg
...
Изменено: 30.03.2025, 12:27 - Терабайт
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1373387
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Терабайт  30.03.2025, 11:58
[игнорируется]
Очень внимательно относимся к замечаниям. Критика приветствуется!
Предлагается руками создавать схемы? Отличное решение!
А удалять партиции вы не умеете или просто не хотите?
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1373398
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Терабайт  30.03.2025, 12:26
[игнорируется]
Сейчас плотно переквалифицируюсь в Data Science. Фактически то чем я занимаюсь этим и является.
Вот это правильно. Занимайся лучше этой хуйнёй и не лезь ты в базы.
А там и до инфоцыганства недалеко.
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1373403
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Терабайт  30.03.2025, 11:58
[игнорируется]
Вышла статья про Basket partitioning.
Что мы выявили при таком хранении?
..........................
  • Очистка данных через DELETE не приводит к фактическому уменьшению размера таблицы. Если удаляемых строк миллионы, то удаление может занять значительное время.


Чтобы выяснить, что DML оператор DELETE не приводит к очистке сегментов и освобождению места, вам надо было написать статью про секционирование?
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1373407
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Теперь самое интересное. Удалим все данные за позавчера:
Код: SQL
1.
DROP SCHEMA basket_20250203 CASCADE;
А зачем эти выкрутасы со схемами и каскадными удалениями, если можно просто сделать DROP/TRUNCATE partition? Это тоже DDL операция, которая не генерит много журнальных данных и по сути обновляет словарь (метаданные), поэтому выполняется она быстро.

Или в PG нельзя удалять/обнулять отдельные партиции?

To remove old data quickly, simply drop the child table that is no longer necessary:
Код: SQL
1.
DROP TABLE measurement_y2006m02;
https://www.postgresql.org/docs/current/ddl-partitioning.html#DDL-PARTITIONING-USING-INHERITANCE
Код: SQL
1.
TRUNCATE ONLY childtablename
https://www.postgresql.org/docs/current/sql-truncate.html
...
Изменено: 02.04.2025, 22:44 - Кусь
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1376762
Фотография Ифрит
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Терабайт  30.03.2025, 11:58
[игнорируется]
Вышла статья про Basket partitioning. Такая архитектура хранения используется, например в pg awr.

Поправили форматирование. Очень внимательно относимся к замечаниям. Критика приветствуется! 👍

https://habr.com/ru/companies/vtb/articles/894950/
из статьи не понятно - для какой цели в реализации нужны схемы
и что именно значимое вносит термин "корзинное", кроме префикса в имени схем.. %
вот это интригует - может в статье есть какой-то с ходу неуловимый хак...
так-то, чего бы не: public.apple_20250203, public.apple_20250204...
...
Изменено: 06.04.2025, 16:41 - Ифрит
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1378452
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кусь  02.04.2025, 22:33
[игнорируется]
Или в PG нельзя удалять/обнулять отдельные партиции?

To remove old data quickly, simply drop the child table that is no longer necessary:
Код: SQL
1.
DROP TABLE measurement_y2006m02;
https://www.postgresql.org/docs/current/ddl-partitioning.html#DDL-PARTITIONING-USING-INHERITANCE
Код: SQL
1.
TRUNCATE ONLY childtablename
https://www.postgresql.org/docs/current/sql-truncate.html
Конечно можно.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных,
идейный укр, который родился не в России
иноагент, но без официального статуса
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1378885
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
megabyte  08.04.2025, 14:49
[игнорируется]
Кусь  02.04.2025, 22:33
[игнорируется]
Или в PG нельзя удалять/обнулять отдельные партиции?

To remove old data quickly, simply drop the child table that is no longer necessary:
Код: SQL
1.
DROP TABLE measurement_y2006m02;
https://www.postgresql.org/docs/current/ddl-partitioning.html#DDL-PARTITIONING-USING-INHERITANCE
Код: SQL
1.
TRUNCATE ONLY childtablename
https://www.postgresql.org/docs/current/sql-truncate.html
Конечно можно.
Тогда в чём вообще цимес этой статьй? Автор почему-то молчит как партизан и не хочет общаться с коллегами. Интересно, почему?
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1378895
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Гарыныч  08.04.2025, 22:20
[игнорируется]
Кусь  08.04.2025, 22:16
[игнорируется]
megabyte [игнорируется] 

Тогда в чём вообще цимес этой статьй? Автор почему-то молчит как партизан и не хочет общаться с коллегами. Интересно, почему?
а почему статья на инглише? Мегачлен не осилил на русском?
Гарыныч, сходи лучше в тему про монаду. Насри там кмаву чёрными властелинами.
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1378900
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Кусь  08.04.2025, 22:22
[игнорируется]
Гарыныч  08.04.2025, 22:20
[игнорируется]
Кусь  08.04.2025, 22:16
[игнорируется]
megabyte [игнорируется] 

Тогда в чём вообще цимес этой статьй? Автор почему-то молчит как партизан и не хочет общаться с коллегами. Интересно, почему?
а почему статья на инглише? Мегачлен не осилил на русском?
Гарыныч, сходи лучше в тему про монаду. Насри там кмаву чёрными властелинами.
я знаю только хламидо-монаду.... :)))
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1388982
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ифрит  06.04.2025, 16:39
[игнорируется]
Терабайт  30.03.2025, 11:58
[игнорируется]
Вышла статья про Basket partitioning. Такая архитектура хранения используется, например в pg awr.

Поправили форматирование. Очень внимательно относимся к замечаниям. Критика приветствуется! 👍

https://habr.com/ru/companies/vtb/articles/894950/
из статьи не понятно - для какой цели в реализации нужны схемы
и что именно значимое вносит термин "корзинное", кроме префикса в имени схем.. %
вот это интригует - может в статье есть какой-то с ходу неуловимый хак...
так-то, чего бы не: public.apple_20250203, public.apple_20250204...
Схема - это дата. В ней сотни таблиц. Ты удаляешь кучу старых данных.
...
Изменено: 21.04.2025, 00:18 - Терабайт
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1388984
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Горбатый ёж  02.04.2025, 22:14
[игнорируется]
Терабайт  30.03.2025, 11:58
[игнорируется]
Очень внимательно относимся к замечаниям. Критика приветствуется!
Предлагается руками создавать схемы? Отличное решение!
А удалять партиции вы не умеете или просто не хотите?
Это все делается не руками, а процедурой. Она проверяет при вставке наличие схем за указанную дату. Если ее нет - схема и секции создаются.
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1388988
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
megabyte  08.04.2025, 14:49
[игнорируется]
Кусь [игнорируется] 

Конечно можно.
Здесь нужно не обнулять старые секции, а ваще удалять. Хотя если секционирование по типу LIST - то конечно проще транкейтить. Например те данные которые obsolete. Они сразу переезжают в нужную секцию. И соответственно ничто не мешает их не delete, а truncate. Что гораздо быстрее.
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1388999
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В общем это хоть и не выглядит сильно впечатляюще как сиськи Мэрлин Монро. Но работает сейчас на десятках тысяч серверов. С совершенно разными профилями. Удаляется пулей. Обслуживания вообще не требует. В этом и была цель. Понимающие люди идею поймут.

Например стат данные размером гигов под 50 через обычный delete могли удаляться часами. А тут за секунду. В этом и профит.
...
Изменено: 21.04.2025, 00:34 - Терабайт
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1389064
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Терабайт  21.04.2025, 00:17
[игнорируется]
Горбатый ёж  02.04.2025, 22:14
[игнорируется]
Терабайт  30.03.2025, 11:58
[игнорируется]
Очень внимательно относимся к замечаниям. Критика приветствуется!
Предлагается руками создавать схемы? Отличное решение!
А удалять партиции вы не умеете или просто не хотите?
Это все делается не руками, а процедурой. Она проверяет при вставке наличие схем за указанную дату. Если ее нет - схема и секции создаются.
Ещё раз вопрос.
Зачем делать схемы, если можно удалять партиции?
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1389148
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Горбатый ёж  21.04.2025, 07:18
[игнорируется]
Терабайт  21.04.2025, 00:17
[игнорируется]
Горбатый ёж  02.04.2025, 22:14
[игнорируется]
Терабайт  30.03.2025, 11:58
[игнорируется]
Очень внимательно относимся к замечаниям. Критика приветствуется!
Предлагается руками создавать схемы? Отличное решение!
А удалять партиции вы не умеете или просто не хотите?
Это все делается не руками, а процедурой. Она проверяет при вставке наличие схем за указанную дату. Если ее нет - схема и секции создаются.
Ещё раз вопрос.
Зачем делать схемы, если можно удалять партиции?
Потому что удалить схему - это гораздо проще. Не нужно делать DEATTACH секции каждой, затем DROP TABLE по каждой таблице. Их может быть сотни.

DROP SCHEMA CASCADE - делает всё сама.

Если у вас так секционирована одна или несколько таблиц - здесь вы правы, городить баскеты может быть избыточно.
...
С уважением, КѢдра МiтрейЪ.
Изменено: 21.04.2025, 10:20 - Тень на плетень
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1389152
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  21.04.2025, 10:18
[игнорируется]
Потому что удалить схему - это гораздо проще. Не нужно делать DEATTACH секции каждой, затем DROP TABLE по каждой таблице. Их может быть сотни.
Цитата 
[игнорируется]
ALTER TABLE sales DROP PARTITION FOR ('2023-01-01'::date);
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1389157
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Да, можно так. Теперь сравни:

Ситуация 1:

ALTER TABLE sales DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE invoice DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE order DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE gl DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE backs DROP PARTITION FOR ('2023-01-01'::date);

и Ситуация 2:

DROP SCHEMA data_20230101 CASCADE;

Что проще? Собственно все.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1389166
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
То есть кучу таблиц в одну схему...
В этом смысле.

Всё равно это какая-то ненужная ерунда, потому что это полёт фантазии на определённую тему. Непонятный отказ от использования стандартного встроенного инструментария. Профит от этого очень сомнителен.
Что касается количества команд, то наверное ты сможешь перечитать сам себя
Терабайт  21.04.2025, 00:17
[игнорируется]
Это все делается не руками, а процедурой.
Кстати и вот это
Тень на плетень  21.04.2025, 10:29
[игнорируется]
ALTER TABLE sales DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE invoice DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE order DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE gl DROP PARTITION FOR ('2023-01-01'::date);
ALTER TABLE backs DROP PARTITION FOR ('2023-01-01'::date);
с лёгкостью заменяется циклом в той самой процедуре. При этом получаешь одну процедуру для удаления партиций и не занимаешься созданием схем при добавлении новой партиционированной таблицы.
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1389185
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Это излишнее усложнение процедуры. Можешь какую то из таблиц забыть.
А может и такое случиться что по какой то таблице данных за это число нет вообще. И нет секции.

Здесь же не нужно думать ни о чем кроме даты.

Процедура просто перебирает все даты менее определенной. Нужно просто сгенерить: DROP SCHEMA data_xxxxxxxxxx CASCADE по условию:
Код: SQL
1.
... where schema_name < 'data_20230101'
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1389197
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Вот пример кода удаления данных по баскетам старше 9 дней. Работает и на кластере PG
Код: SQL
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
CREATE OR REPLACE FUNCTION delete_obsolete(d integer)
RETURNS void
LANGUAGE plpgsql
STRICT
AS $function$
declare
  r record;
  node_role bool;
  schema_nm varchar ='';
  schema_to varchar = '';
  r1 record;
  tmp1 record;
begin
  set search_path=data,public,pg_catalog;
    select into node_role pg_is_in_recovery();
    raise notice 'Delete obsolete schemas.';
    raise notice '==============================================';
    raise notice 'Node role in cluster is replica?: %', node_role;
    if node_role = false then
       raise notice 'LEADER: start procedure.';
           -- delete old schemas data_, older then 9 days
           select into schema_to 'data_'||TO_CHAR (now()- interval '9 days', 'YYYYMMDD_HHMMSS');
           for r1 in
             select schema_name FROM information_schema.schemata WHERE schema_name like 'data_2%'
           loop
                raise notice '> % : ',r1.schema_name;
                if r1.schema_name < schema_to then
                     raise notice 'delete schema % : ',r1.schema_name;
                      execute 'drop schema ' || r1.schema_name || ' cascade;';
                end if;
           end loop;
       else
             raise notice 'REPLICA: skip procedure.';
    end if;
    raise notice 'Delete obsolete schemas finished.';
    raise notice '==============================================';
  reset search_path;
end;
$function$
;
...
С уважением, КѢдра МiтрейЪ.
Изменено: 21.04.2025, 11:05 - Тень на плетень
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1389205
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  21.04.2025, 10:52
[игнорируется]
Можешь какую то из таблиц забыть.
Существует более одного механизма указания списка таблиц, подлежащих периодической чистке. В любом случае полезно знать что у тебя чистится и с какой периодичностью, оправдывать отказ от стандартного инструментария склерозом - это как минимум странно. В твоём же случае создание новой партиционированной таблицы - процесс нетипичный, что может вызвать проблемы в том случае, когда знающий человек уволится, а заниматься этим будет новичок. Поддержка такой нестандартной архитектуры тоже может быть очень невыгодным занятием.
Тень на плетень  21.04.2025, 10:52
[игнорируется]
А может и такое случиться что по какой то таблице данных за это число нет вообще. И нет секции.
И что? Писать код без обработки ошибок - это плохо, а обработка ошибок сводит на нет этот аргумент.
Тень на плетень  21.04.2025, 10:52
[игнорируется]
Процедура просто перебирает все даты менее определенной.
И чем это отличается от моего варианта?
Тем, что по нему статью не напишешь?
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1389215
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Цитата 
[игнорируется]
И чем это отличается от моего варианта?
По сути ничем. Только архитектурой. О ней и была речь.
Цитата 
[игнорируется]
Тем, что по нему статью не напишешь?
Почему? Хорошие практики работы с секционированными таблицами всем интересны.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарыныч
Запилил статью на Хабре
    #1429097
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Письмо пришло. )
Цитата 
[игнорируется]
Владимир, добрый день!

Ваша статья на Хабре про секционирование в PostgreSQL стала лучшей за последние полгода. Если у вас еще есть идеи для материалов на Хабр, пожалуйста, обращайтесь. У нас есть опция написания статей руками авторов Хабра от нашего имени, по нашей теме и при полном согласовании с нами.

Хорошего дня!
__________
П***** В*****
Руководитель проекта
Департамент по взаимодействию со СМИ
Технологический блок ВТБ
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1429124
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Тень на плетень  06.06.2025, 13:22
[игнорируется]
Письмо пришло. )
Цитата 
[игнорируется]
Владимир, добрый день!

Ваша статья на Хабре про секционирование в PostgreSQL стала лучшей за последние полгода. Если у вас еще есть идеи для материалов на Хабр, пожалуйста, обращайтесь. У нас есть опция написания статей руками авторов Хабра от нашего имени, по нашей теме и при полном согласовании с нами.

Хорошего дня!
__________
П***** В*****
Руководитель проекта
Департамент по взаимодействию со СМИ
Технологический блок ВТБ
Круто!
...
Изменено: 06.06.2025, 14:13 - Гарыныч
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1430465
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Горбатый ёж  21.04.2025, 11:11
[игнорируется]
И чем это отличается от моего варианта?
Тем, что по нему статью не напишешь?
И тем, что не придёт благодарность от Департамента по взаимодействию со СМИ ВТБ.
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1437670
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Запилил мануал по pg АВР 4.1.3.

Ну как мануал. Почти книжка, брошюра. Правда коллега шутит что это Курсовая. Ну а чо. Если есть целые две математические формулы :)))

Накрутили в АВР уже конечно мощно. Появилось понятие администрирования АВР. Авто кастомизации, модульность.

Оказывается купить вы его уже можете. Но он идёт только с поддержкой. Стоит правда хз сколько.
PR AWR manual.pdf
...
Изменено: 18.06.2025, 23:55 - Терабайт
Рейтинг: 1 / 0
Нравится: Ифрит
Запилил статью на Хабре
    #1439527
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Терабайт  18.06.2025, 23:47
[игнорируется]
Запилил мануал по pg АВР 4.1.3.

Ну как мануал. Почти книжка, брошюра. Правда коллега шутит что это Курсовая. Ну а чо. Если есть целые две математические формулы :)))

Накрутили в АВР уже конечно мощно. Появилось понятие администрирования АВР. Авто кастомизации, модульность.

Оказывается купить вы его уже можете. Но он идёт только с поддержкой. Стоит правда хз сколько.
PR AWR manual.pdf
У индейца появляется конкурент. Уже продаёт поддержку с лицензией. [:prankster]
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1439609
Фотография Ифрит
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Терабайт  18.06.2025, 23:47
[игнорируется]
Запилил мануал по pg АВР 4.1.3.

Ну как мануал. Почти книжка, брошюра. Правда коллега шутит что это Курсовая. Ну а чо. Если есть целые две математические формулы :)))

Накрутили в АВР уже конечно мощно. Появилось понятие администрирования АВР. Авто кастомизации, модульность.

Оказывается купить вы его уже можете. Но он идёт только с поддержкой. Стоит правда хз сколько.
PR AWR manual.pdf
Цитата 
[игнорируется]
Система использует только глобальные представления, без необходимости в использовании
Discoverer для баз данных, и построения dblink внутри инстанса.
не дочитал, пока, возможно.. снимки с реплик - нету.. ?
очень полезно, в презентации не увидел явно
* в оракле штатно только в 12.2 появилось (

* по хорошему бы наглядное сравнение с pg_profile/pgpro_pwr
коль уж упоминаются в презентации продукта
а почему бы и нет )

* хотя, да, дальше становится понятнее )
но почему бы не акцентировать ))
...
Изменено: 22.06.2025, 09:20 - Ифрит
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1439613
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ифрит  22.06.2025, 09:05
[игнорируется]
не дочитал, пока, возможно.. снапшоты с реплик - нету.. ?
очень полезно бы

* по хорошему бы наглядное сравнение с pg_profile/pgpro_pwr
коль уж упоминаются в презентации продукта
а почему бы и нет )

* хотя, да, дальше становится понятнее ) но почему бы не акцентировать ))
С реплики нет снимков. Но в нашей целевой архитектуре это и не нужно, т.к. haproxy перенаправляет запросы на лидер кластера. То есть выполнение запросов с синхронной реплики не приветствуется, т.к. какие то тяжёлые запросы на реплике могут аффектить лидер, вследствии чего на нем возникать ожидания SyncRepl.

Отличия от pg_profile:
1. Снимки делаются без сброса статистики pg_stat_statements. То есть математика получения данных в интервале времени не интегральная, а дифференциальная.
2. Сделан акцент на получение общих данных инстанса целиком без деталировки по БД отдельно. Нет например статисти по таблицам и индексам. Но при этом больше системных данных. Реализован полноценный Active session history, как связка pg_stat_activity + top + io. То есть в pg_stat_activity добавлена информация по утилизации ЦПУ, памяти и вводу выводу конкретным процессом/сессией.
3. Есть модульность. Разные метрики собираются с разной периодичности. И сборку отдельных метрик можно отключать.
4. Есть автокастомизации. То есть на очень высоких нагрузках и объемах статистических данных модули поднастратваются по параметрам чтобы обеспечить живучесть.
5. В отличие от pg_profile, в pg_awr снимки делаются быстрее. Типовое время на нагруженной системе не более 0.3-0.4 сек. Против 6 сек на pg_profile. То есть при необходимости интервал снимков может быть и Оракловым для ASH - 1 сек.
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1439615
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Исправил кое какие неточности в документации. Релиза версии 4.1.3 пока не было, ожидаем в конце недели.

(Но Базя уменьшил лимит вложений [:cry]) Если кому нужно - пишите в ЛС
Screenshot_20250622-093955~2.png
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1439617
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В pg awr ещё такой двойной DB Time. В Оракле только по ASH.
Screenshot_20250622-094544~2.png
DB Time ASH – берется из представления pg_stat_activity с дискретизацией сбора снимков. Чем
меньше интервал сбора снимков, тем точнее это значение. Она учитывает откаченные и
незавершенные сессии.

DB Time commited - берется из представления pg_stat_statements, и не учитывает откаченные или
незавершенные сессии. Дискретизация сбора метрик здесь значения не имеет в силу специфики
работы pg_stat-statements.

DB Time по метрике ASH и Commited может быть больше интервала между снимками отчета по
поятным причинам, не IDLE сессий может быть много, и это время суммируется. То есть, например,
если в интервале отчетов 1 мин было 10 активных сессий, но которые продолжали работу и
выполняли 1 запрос в каждой из них, то DB Time ASH будет 10 мин. Если запросы при этом не
завершились или были откачены, то DB Time commited будет равно 0.

В целом соотношение между DB Time ASH и DB Time commited характеризует профиль нагрузки.
При высоком значении DB Time ASH и меньшем DB Time commited – соответствует OLAP нагрузке.
Если наоборот, то OLTP.

DB Time полезен для того чтобы сравнить профили нагрузки системы в разных интервалах времени и для анализа отклонений. Например, когда система декларирована
архитектурой как OLTP, но ведет себя как OLAP – это может говорить о наличии проблем, длинных
запросов, и может потребовать их оптимизации.
...
Изменено: 22.06.2025, 09:51 - Терабайт
Рейтинг: 0 / 0
61 сообщений из 61, показаны все 3 страниц
Форумы / PostgreSQL [закрыт для гостей] / Запилил статью на Хабре
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]