|
Запилил статью на Хабре
|
|
---|---|
#18+
Когда я учился в аспирантуре ОИВТ РАН, шеф нам говорил, что если вы не можете найти название чему то - не ссыте , придумываете его сами. ![]() ... |
|
С уважением, КѢдра МiтрейЪ.
:
|
|
10.02.2025, 23:46 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Вот еще интересна проблема возникла. По определению фактического профиля нагрузки. OLAP он или OLTP. И собственно если система заявлена как OLAP, но на самом деле ведет себя как OLTP или наоборот, это должно быть видно в мониторинге. Для определения профиля нагрузки используется 4 критерия. Назовем их "4 критерия Ольгинских дев определения профиля нагрузки OLAP/OLTP." 😀 ... |
|||
С уважением, КѢдра МiтрейЪ.
:
Нравится:
Не нравится:
|
|||
10.02.2025, 23:53 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
4 критерия Ольгинских дев ![]() ... |
|||
:
Нравится:
Не нравится:
|
|||
10.02.2025, 23:57 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Вышла статья про Basket partitioning. Такая архитектура хранения используется, например в pg awr. Поправили форматирование. Очень внимательно относимся к замечаниям. Критика приветствуется! 👍 https://habr.com/ru/companies/vtb/articles/894950/ ... |
|||
:
Изменено: 30.03.2025, 12:07 - Терабайт
Нравится:
Не нравится:
|
|||
30.03.2025, 11:58 |
|
Запилил статью на Хабре
#1369654
![]() Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
|
||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
Сейчас плотно переквалифицируюсь в Data Science. Фактически то чем я занимаюсь этим и является. Сплав математики, архитектур БД и AI. ... |
||||||||||||||||
:
Изменено: 30.03.2025, 12:27 - Терабайт
Нравится:
Не нравится:
|
||||||||||||||||
30.03.2025, 12:26 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Очень внимательно относимся к замечаниям. Критика приветствуется! А удалять партиции вы не умеете или просто не хотите? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.04.2025, 22:14 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Сейчас плотно переквалифицируюсь в Data Science. Фактически то чем я занимаюсь этим и является. А там и до инфоцыганства недалеко. ... |
|||
:
Нравится:
Не нравится:
|
|||
02.04.2025, 22:21 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Вышла статья про Basket partitioning. ..........................
Чтобы выяснить, что DML оператор DELETE не приводит к очистке сегментов и освобождению места, вам надо было написать статью про секционирование? ... |
|||
:
Нравится:
Не нравится:
|
|||
02.04.2025, 22:29 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Теперь самое интересное. Удалим все данные за позавчера: Код: SQL 1.
Или в PG нельзя удалять/обнулять отдельные партиции? To remove old data quickly, simply drop the child table that is no longer necessary: Код: SQL 1.
Код: SQL 1.
... |
|||
:
Изменено: 02.04.2025, 22:44 - Кусь
Нравится:
Не нравится:
|
|||
02.04.2025, 22:33 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Вышла статья про Basket partitioning. Такая архитектура хранения используется, например в pg awr. Поправили форматирование. Очень внимательно относимся к замечаниям. Критика приветствуется! 👍 https://habr.com/ru/companies/vtb/articles/894950/ и что именно значимое вносит термин "корзинное", кроме префикса в имени схем.. % вот это интригует - может в статье есть какой-то с ходу неуловимый хак... так-то, чего бы не: public.apple_20250203, public.apple_20250204... ... |
|||
:
Изменено: 06.04.2025, 16:41 - Ифрит
Нравится:
Не нравится:
|
|||
06.04.2025, 16:39 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Или в PG нельзя удалять/обнулять отдельные партиции? To remove old data quickly, simply drop the child table that is no longer necessary: Код: SQL 1.
Код: SQL 1.
... |
|||
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных, идейный укр, который родился не в России иноагент, но без официального статуса :
Нравится:
Не нравится:
|
|||
08.04.2025, 14:49 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Или в PG нельзя удалять/обнулять отдельные партиции? To remove old data quickly, simply drop the child table that is no longer necessary: Код: SQL 1.
Код: SQL 1.
... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2025, 22:16 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Гарыныч, сходи лучше в тему про монаду. Насри там кмаву чёрными властелинами. ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2025, 22:22 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Гарыныч, сходи лучше в тему про монаду. Насри там кмаву чёрными властелинами. ![]() ... |
|||
:
Нравится:
Не нравится:
|
|||
08.04.2025, 22:23 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Вышла статья про Basket partitioning. Такая архитектура хранения используется, например в pg awr. Поправили форматирование. Очень внимательно относимся к замечаниям. Критика приветствуется! 👍 https://habr.com/ru/companies/vtb/articles/894950/ и что именно значимое вносит термин "корзинное", кроме префикса в имени схем.. % вот это интригует - может в статье есть какой-то с ходу неуловимый хак... так-то, чего бы не: public.apple_20250203, public.apple_20250204... ... |
|||
:
Изменено: 21.04.2025, 00:18 - Терабайт
Нравится:
Не нравится:
|
|||
21.04.2025, 00:15 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Это все делается не руками, а процедурой. Она проверяет при вставке наличие схем за указанную дату. Если ее нет - схема и секции создаются. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.04.2025, 00:17 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Здесь нужно не обнулять старые секции, а ваще удалять. Хотя если секционирование по типу LIST - то конечно проще транкейтить. Например те данные которые obsolete. Они сразу переезжают в нужную секцию. И соответственно ничто не мешает их не delete, а truncate. Что гораздо быстрее. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.04.2025, 00:21 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
В общем это хоть и не выглядит сильно впечатляюще как сиськи Мэрлин Монро. Но работает сейчас на десятках тысяч серверов. С совершенно разными профилями. Удаляется пулей. Обслуживания вообще не требует. В этом и была цель. Понимающие люди идею поймут. Например стат данные размером гигов под 50 через обычный delete могли удаляться часами. А тут за секунду. В этом и профит. ... |
|||
:
Изменено: 21.04.2025, 00:34 - Терабайт
Нравится:
Не нравится:
|
|||
21.04.2025, 00:30 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Это все делается не руками, а процедурой. Она проверяет при вставке наличие схем за указанную дату. Если ее нет - схема и секции создаются. Зачем делать схемы, если можно удалять партиции? ... |
|||
:
Нравится:
Не нравится:
|
|||
21.04.2025, 07:18 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Это все делается не руками, а процедурой. Она проверяет при вставке наличие схем за указанную дату. Если ее нет - схема и секции создаются. Зачем делать схемы, если можно удалять партиции? DROP SCHEMA CASCADE - делает всё сама. Если у вас так секционирована одна или несколько таблиц - здесь вы правы, городить баскеты может быть избыточно. ... |
|||
С уважением, КѢдра МiтрейЪ.
:
Изменено: 21.04.2025, 10:20 - Тень на плетень
Нравится:
Не нравится:
|
|||
21.04.2025, 10:18 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Потому что удалить схему - это гораздо проще. Не нужно делать DEATTACH секции каждой, затем DROP TABLE по каждой таблице. Их может быть сотни. Цитата [игнорируется] ALTER TABLE sales DROP PARTITION FOR ('2023-01-01'::date); ... |
|||
:
Нравится:
Не нравится:
|
|||
21.04.2025, 10:24 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Да, можно так. Теперь сравни: Ситуация 1: ALTER TABLE sales DROP PARTITION FOR ('2023-01-01'::date); ALTER TABLE invoice DROP PARTITION FOR ('2023-01-01'::date); ALTER TABLE order DROP PARTITION FOR ('2023-01-01'::date); ALTER TABLE gl DROP PARTITION FOR ('2023-01-01'::date); ALTER TABLE backs DROP PARTITION FOR ('2023-01-01'::date); и Ситуация 2: DROP SCHEMA data_20230101 CASCADE; Что проще? Собственно все. ... |
|||
С уважением, КѢдра МiтрейЪ.
:
Нравится:
Не нравится:
|
|||
21.04.2025, 10:29 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
То есть кучу таблиц в одну схему... В этом смысле. Всё равно это какая-то ненужная ерунда, потому что это полёт фантазии на определённую тему. Непонятный отказ от использования стандартного встроенного инструментария. Профит от этого очень сомнителен. Что касается количества команд, то наверное ты сможешь перечитать сам себя Это все делается не руками, а процедурой. ALTER TABLE sales DROP PARTITION FOR ('2023-01-01'::date); ALTER TABLE invoice DROP PARTITION FOR ('2023-01-01'::date); ALTER TABLE order DROP PARTITION FOR ('2023-01-01'::date); ALTER TABLE gl DROP PARTITION FOR ('2023-01-01'::date); ALTER TABLE backs DROP PARTITION FOR ('2023-01-01'::date); ... |
|||
:
Нравится:
Не нравится:
|
|||
21.04.2025, 10:38 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Это излишнее усложнение процедуры. Можешь какую то из таблиц забыть. А может и такое случиться что по какой то таблице данных за это число нет вообще. И нет секции. Здесь же не нужно думать ни о чем кроме даты. Процедура просто перебирает все даты менее определенной. Нужно просто сгенерить: DROP SCHEMA data_xxxxxxxxxx CASCADE по условию: Код: SQL 1.
... |
|||
С уважением, КѢдра МiтрейЪ.
:
Нравится:
Не нравится:
|
|||
21.04.2025, 10:52 |
|
Запилил статью на Хабре
|
|||
---|---|---|---|
#18+
Вот пример кода удаления данных по баскетам старше 9 дней. Работает и на кластере PG Код: SQL 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40.
... |
|||
С уважением, КѢдра МiтрейЪ.
:
Изменено: 21.04.2025, 11:05 - Тень на плетень
Нравится:
Не нравится:
|
|||
21.04.2025, 11:04 |
|
|
start [/forum/topic.php?fid=19&msg=1389185&tid=17732]: |
0ms |
get settings: |
8ms |
get forum list: |
10ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
60ms |
get topic data: |
12ms |
get forum data: |
3ms |
get page messages: |
104ms |
get tp. blocked users: |
1ms |
others: | 12ms |
total: | 216ms |
0 / 0 |