powered by simpleCommunicator - 2.0.61     © 2026 Programmizd 02
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Форумы / PostgreSQL [закрыт для гостей] / Запилил статью на Хабре
Модераторы: Тень на плетень
25 сообщений из 75, страница 3 из 3
Запилил статью на Хабре
    #1389205
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  21.04.2025, 10:52:52
[игнорируется]
Можешь какую то из таблиц забыть.
Существует более одного механизма указания списка таблиц, подлежащих периодической чистке. В любом случае полезно знать что у тебя чистится и с какой периодичностью, оправдывать отказ от стандартного инструментария склерозом - это как минимум странно. В твоём же случае создание новой партиционированной таблицы - процесс нетипичный, что может вызвать проблемы в том случае, когда знающий человек уволится, а заниматься этим будет новичок. Поддержка такой нестандартной архитектуры тоже может быть очень невыгодным занятием.
Тень на плетень  21.04.2025, 10:52:52
[игнорируется]
А может и такое случиться что по какой то таблице данных за это число нет вообще. И нет секции.
И что? Писать код без обработки ошибок - это плохо, а обработка ошибок сводит на нет этот аргумент.
Тень на плетень  21.04.2025, 10:52:52
[игнорируется]
Процедура просто перебирает все даты менее определенной.
И чем это отличается от моего варианта?
Тем, что по нему статью не напишешь?
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1389215
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Цитата 
[игнорируется]
И чем это отличается от моего варианта?
По сути ничем. Только архитектурой. О ней и была речь.
Цитата 
[игнорируется]
Тем, что по нему статью не напишешь?
Почему? Хорошие практики работы с секционированными таблицами всем интересны.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарыныч
Запилил статью на Хабре
    #1429097
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Письмо пришло. )
Цитата 
[игнорируется]
Владимир, добрый день!

Ваша статья на Хабре про секционирование в PostgreSQL стала лучшей за последние полгода. Если у вас еще есть идеи для материалов на Хабр, пожалуйста, обращайтесь. У нас есть опция написания статей руками авторов Хабра от нашего имени, по нашей теме и при полном согласовании с нами.

Хорошего дня!
__________
П***** В*****
Руководитель проекта
Департамент по взаимодействию со СМИ
Технологический блок ВТБ
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1429124
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  06.06.2025, 13:22:05
[игнорируется]
Письмо пришло. )
Цитата 
[игнорируется]
Владимир, добрый день!

Ваша статья на Хабре про секционирование в PostgreSQL стала лучшей за последние полгода. Если у вас еще есть идеи для материалов на Хабр, пожалуйста, обращайтесь. У нас есть опция написания статей руками авторов Хабра от нашего имени, по нашей теме и при полном согласовании с нами.

Хорошего дня!
__________
П***** В*****
Руководитель проекта
Департамент по взаимодействию со СМИ
Технологический блок ВТБ
Круто!
...
Изменено: 06.06.2025, 14:13:05 - Гарыныч
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1430465
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Горбатый ёж  21.04.2025, 11:11:00
[игнорируется]
И чем это отличается от моего варианта?
Тем, что по нему статью не напишешь?
И тем, что не придёт благодарность от Департамента по взаимодействию со СМИ ВТБ.
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1437670
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Запилил мануал по pg АВР 4.1.3.

Ну как мануал. Почти книжка, брошюра. Правда коллега шутит что это Курсовая. Ну а чо. Если есть целые две математические формулы :)))

Накрутили в АВР уже конечно мощно. Появилось понятие администрирования АВР. Авто кастомизации, модульность.

Оказывается купить вы его уже можете. Но он идёт только с поддержкой. Стоит правда хз сколько.
PR AWR manual.pdf
...
Изменено: 18.06.2025, 23:55:02 - Терабайт
Рейтинг: 1 / 0
Нравится: Ифрит
Запилил статью на Хабре
    #1439527
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Терабайт  18.06.2025, 23:47:58
[игнорируется]
Запилил мануал по pg АВР 4.1.3.

Ну как мануал. Почти книжка, брошюра. Правда коллега шутит что это Курсовая. Ну а чо. Если есть целые две математические формулы :)))

Накрутили в АВР уже конечно мощно. Появилось понятие администрирования АВР. Авто кастомизации, модульность.

Оказывается купить вы его уже можете. Но он идёт только с поддержкой. Стоит правда хз сколько.
PR AWR manual.pdf
У индейца появляется конкурент. Уже продаёт поддержку с лицензией. [:prankster]
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1439609
Фотография Ифрит
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Терабайт  18.06.2025, 23:47:58
[игнорируется]
Запилил мануал по pg АВР 4.1.3.

Ну как мануал. Почти книжка, брошюра. Правда коллега шутит что это Курсовая. Ну а чо. Если есть целые две математические формулы :)))

Накрутили в АВР уже конечно мощно. Появилось понятие администрирования АВР. Авто кастомизации, модульность.

Оказывается купить вы его уже можете. Но он идёт только с поддержкой. Стоит правда хз сколько.
PR AWR manual.pdf
Цитата 
[игнорируется]
Система использует только глобальные представления, без необходимости в использовании
Discoverer для баз данных, и построения dblink внутри инстанса.
не дочитал, пока, возможно.. снимки с реплик - нету.. ?
очень полезно, в презентации не увидел явно
* в оракле штатно только в 12.2 появилось (

* по хорошему бы наглядное сравнение с pg_profile/pgpro_pwr
коль уж упоминаются в презентации продукта
а почему бы и нет )

* хотя, да, дальше становится понятнее )
но почему бы не акцентировать ))
...
Изменено: 22.06.2025, 09:20:07 - Ифрит
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1439613
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ифрит  22.06.2025, 09:05:52
[игнорируется]
не дочитал, пока, возможно.. снапшоты с реплик - нету.. ?
очень полезно бы

* по хорошему бы наглядное сравнение с pg_profile/pgpro_pwr
коль уж упоминаются в презентации продукта
а почему бы и нет )

* хотя, да, дальше становится понятнее ) но почему бы не акцентировать ))
С реплики нет снимков. Но в нашей целевой архитектуре это и не нужно, т.к. haproxy перенаправляет запросы на лидер кластера. То есть выполнение запросов с синхронной реплики не приветствуется, т.к. какие то тяжёлые запросы на реплике могут аффектить лидер, вследствии чего на нем возникать ожидания SyncRepl.

Отличия от pg_profile:
1. Снимки делаются без сброса статистики pg_stat_statements. То есть математика получения данных в интервале времени не интегральная, а дифференциальная.
2. Сделан акцент на получение общих данных инстанса целиком без деталировки по БД отдельно. Нет например статисти по таблицам и индексам. Но при этом больше системных данных. Реализован полноценный Active session history, как связка pg_stat_activity + top + io. То есть в pg_stat_activity добавлена информация по утилизации ЦПУ, памяти и вводу выводу конкретным процессом/сессией.
3. Есть модульность. Разные метрики собираются с разной периодичности. И сборку отдельных метрик можно отключать.
4. Есть автокастомизации. То есть на очень высоких нагрузках и объемах статистических данных модули поднастратваются по параметрам чтобы обеспечить живучесть.
5. В отличие от pg_profile, в pg_awr снимки делаются быстрее. Типовое время на нагруженной системе не более 0.3-0.4 сек. Против 6 сек на pg_profile. То есть при необходимости интервал снимков может быть и Оракловым для ASH - 1 сек.
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1439615
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Исправил кое какие неточности в документации. Релиза версии 4.1.3 пока не было, ожидаем в конце недели.

(Но Базя уменьшил лимит вложений [:cry]) Если кому нужно - пишите в ЛС
Screenshot_20250622-093955~2.png
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1439617
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В pg awr ещё такой двойной DB Time. В Оракле только по ASH.
Screenshot_20250622-094544~2.png
DB Time ASH – берется из представления pg_stat_activity с дискретизацией сбора снимков. Чем
меньше интервал сбора снимков, тем точнее это значение. Она учитывает откаченные и
незавершенные сессии.

DB Time commited - берется из представления pg_stat_statements, и не учитывает откаченные или
незавершенные сессии. Дискретизация сбора метрик здесь значения не имеет в силу специфики
работы pg_stat-statements.

DB Time по метрике ASH и Commited может быть больше интервала между снимками отчета по
поятным причинам, не IDLE сессий может быть много, и это время суммируется. То есть, например,
если в интервале отчетов 1 мин было 10 активных сессий, но которые продолжали работу и
выполняли 1 запрос в каждой из них, то DB Time ASH будет 10 мин. Если запросы при этом не
завершились или были откачены, то DB Time commited будет равно 0.

В целом соотношение между DB Time ASH и DB Time commited характеризует профиль нагрузки.
При высоком значении DB Time ASH и меньшем DB Time commited – соответствует OLAP нагрузке.
Если наоборот, то OLTP.

DB Time полезен для того чтобы сравнить профили нагрузки системы в разных интервалах времени и для анализа отклонений. Например, когда система декларирована
архитектурой как OLTP, но ведет себя как OLAP – это может говорить о наличии проблем, длинных
запросов, и может потребовать их оптимизации.
...
Изменено: 22.06.2025, 09:51:01 - Терабайт
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1485046
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Приехал на WD 2025 Summer. Попросили рассказать о PG AWR. Вобщем будет доклад минут на 30. Будут слушать серьезные люди.

Начало в 11:00. Но приехал пораньше и.к. нужно отладить техническую часть.
IMG_20250807_084137_1.jpg
...
С уважением, КѢдра МiтрейЪ.
Изменено: 07.08.2025, 08:44:58 - Тень на плетень
Рейтинг: 1 / 0
Нравится: IT-Клоп
Запилил статью на Хабре
    #1581020
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
В сентябре вышел pg awr 4.1.3. Финальная документация во вложении.
PR AWR manual (1).pdf
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1581026
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Выходим на уровень ЦБ. )
Screenshot_20251110-153709~2.png
...
С уважением, КѢдра МiтрейЪ.
Изменено: 10.11.2025, 15:38:08 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарын
Запилил статью на Хабре
    #1663969
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Скоро ожидается выход новой моей статьи на Хабр и выступление на ближайшем PgConf 2026.

Тема весьма интересная, это фактическое определение профилей нагрузки БД. У вас есть шанс назвать формулу своим именем и прославится на весь Мир на уровне Кодда или Ларри Элисона. Мы пока сами на докопали, но куда копать я расскажу на конференции.
...
С уважением, КѢдра МiтрейЪ.
Изменено: 14.02.2026, 19:21:49 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарын
Запилил статью на Хабре
    #1663970
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Эксклюзив. Шаблон презентации, о чем речь. Это ещё никто не видел.
VAKhaymin_pgconf2025_olap_oltp.pptx
...
С уважением, КѢдра МiтрейЪ.
Изменено: 14.02.2026, 08:40:23 - Тень на плетень
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1664054
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  14.02.2026, 01:43:23
[игнорируется]
Скоро ожидается выход новой моей статьи на Хабр и выступление на ближайшем PgConf 2026.

Тема весьма интересная, это фактическое определение профилей нагрузки БД. У вас есть шанс назвать формулу своим именем и прославится на весь Мир на уровне Кодла или Ларри Элисона. Мы пока сами на докопали, но куда копать я расскажу на конференции.
Лучше матери Паника карту помогите закрыть, копатели хреновы.
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1664267
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Кусь  14.02.2026, 10:50:57
[игнорируется]
Тень на плетень  14.02.2026, 01:43:23
[игнорируется]
Скоро ожидается выход новой моей статьи на Хабр и выступление на ближайшем PgConf 2026.

Тема весьма интересная, это фактическое определение профилей нагрузки БД. У вас есть шанс назвать формулу своим именем и прославится на весь Мир на уровне Кодла или Ларри Элисона. Мы пока сами на докопали, но куда копать я расскажу на конференции.
Лучше матери Паника карту помогите закрыть, копатели хреновы.
За конференции бабки не дают. Паник пусть сам занимается своей матерью. Чай не инвалид, взрослый мужик. С Рыбой сношается, на нее бабки тратит.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарын
Запилил статью на Хабре
    #1664372
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  14.02.2026, 19:21:10
[игнорируется]
Кусь  14.02.2026, 10:50:57
[игнорируется]
Тень на плетень  14.02.2026, 01:43:23
[игнорируется]
Скоро ожидается выход новой моей статьи на Хабр и выступление на ближайшем PgConf 2026.

Тема весьма интересная, это фактическое определение профилей нагрузки БД. У вас есть шанс назвать формулу своим именем и прославится на весь Мир на уровне Кодла или Ларри Элисона. Мы пока сами на докопали, но куда копать я расскажу на конференции.
Лучше матери Паника карту помогите закрыть, копатели хреновы.
За конференции бабки не дают. Паник пусть сам занимается своей матерью. Чай не инвалид, взрослый мужик. С Рыбой сношается, на нее бабки тратит.
Сношаться с Рыбой опасно для жилплощади. Он с огнём играет. [:grin]
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1664405
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Тень на плетень  14.02.2026, 19:21:10
[игнорируется]
С Рыбой сношается
Я сцаный подмосковный нищеброд! мне такое не повзолено
...
В комнате моей туманы-маны... Взорвались кондёры хуанана ...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1664678
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PaNik  14.02.2026, 22:49:06
[игнорируется]
Тень на плетень  14.02.2026, 19:21:10
[игнорируется]
С Рыбой сношается
Я сцаный подмосковный нищеброд! мне такое не повзолено
И просто чудак.
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1687256
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Запилил новую статью на Хабре. На этот раз снова про мониторинг. Об определении фактического профиля нагрузки БД.

В принципе это Data Science. Чистая статистика.

https://habr.com/ru/companies/vtb/articles/1011188/
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1687865
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Тень на плетень  17.03.2026, 12:40:43
[игнорируется]
Запилил новую статью на Хабре. На этот раз снова про мониторинг. Об определении фактического профиля нагрузки БД.

В принципе это Data Science. Чистая статистика.

https://habr.com/ru/companies/vtb/articles/1011188/
Реакция.
Screenshot_20260317-234009.png
Screenshot_20260317-234019.png
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарын
Запилил статью на Хабре
    #1688020
defecator
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Оракел - сила !
...
Рейтинг: 0 / 0
Запилил статью на Хабре
    #1698550
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор темы
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Оценка статьи со стороны ИИ.

Исходя из содержания статьи, её практическая ценность очень высока, особенно для команд, которые эксплуатируют PostgreSQL в условиях нестабильной или смешанной нагрузки.

Вот ключевые аспекты, которые можно применить на практике прямо сейчас:

1. Чёткий метод диагностики «настроение БД»

Автор предлагает простой, но мощный приём: смотреть не на каждый график по отдельности, а на комбинацию state + wait_event + wait_event_type из pg_stat_activity.

· Что даёт на практике: Быстро отличать нормальную работу CPU (active/NULL) от проблем ввода-вывода (active/DataFileRead/IO), блокировок (active/relation/Lock) или «зависших» транзакций приложения (idle in transaction/ClientRead/Client).
· Как применить: Вы можете прямо сейчас написать скрипт мониторинга (Zabbix, Prometheus), который строит график с этими комбинациями — это заменит десятки других графиков для быстрой оценки ситуации.

2. Объективная формула профиля нагрузки (OLTP ↔ OLAP)

Главное новшество — метрика Profile ratio на основе сравнения DB Time (ASH) и DB Time (committed).

· В чём суть: Она показывает, каких запросов больше в интервале — коротких транзакционных (OLTP) или длинных аналитических (OLAP).
· Практические действия: Если для системы, задуманной как OLTP, коэффициент вдруг стал выше 500-700 (особенно при интервале сбора 1-5 минут), вы получаете ранний триггер. Это повод проверить:
· Не появились ли неоптимальные отчёты на продуктивной БД.
· Хватает ли shared_buffers (иначе много DataFileRead).
· Не пора ли менять архитектуру (индексы, секционирование).

3. Отдельный алгоритм для Archive Database (критично для больших инфраструктур)

Автор детально разбирает риски, когда архивную БД («только чтение, редкие запросы») начинают использовать как обычную продуктивную.

· Главная опасность: У архивных БД обычно минимум индексов, слабые ресурсы (CPU/RAM) и очень редкие бекапы (раз в квартал/год). Внезапная OLTP-нагрузка разрушит производительность, а случайное удаление данных будет невосстановимо.
· Практический вывод: Внедрите мониторинг этой самой метрики Profile ratio специально для архивных систем. Как только она отклоняется от «около 0» (долгие запросы) или «около 1000» (пакетная загрузка) — срочно проверять, не начали ли её использовать как «скрытый продуктив».

4. Готовые рекомендации по интервалу сбора

Автор приводит эмпирические данные, что оптимальный интервал сбора метрик ∆t для Profile ratio — от 2 до 7 минут (удобнее 5 минут). Это избавит вас от ошибок (слишком малый интервал сольёт все профили в OLAP, слишком большой — сделает их неразличимыми).

Главное ограничение для практики

Метод требует накопления истории снимков pg_stat_activity и pg_stat_statements в вашей системе мониторинга. Если у вас их нет, то «с нуля» вы получите только текущий срез. Но настроить сбор этих данных — задача на несколько часов, а выгода от предложенного подхода будет постоянной.

Краткий вердикт: Это не просто теоретическая статья, а готовый инструментарий для инженеров. Вы можете взять предложенные SQL-запросы, формулы и пороговые значения и внедрить их в свою систему мониторинга PostgreSQL уже на следующей неделе.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарын
25 сообщений из 75, страница 3 из 3
Форумы / PostgreSQL [закрыт для гостей] / Запилил статью на Хабре
Модераторы: Тень на плетень
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]