powered by simpleCommunicator - 2.0.41     © 2025 Programmizd 02
Форумы / PostgreSQL [закрыт для гостей] / Немного об историческом анализе профилей нагрузки в PostgreSQL
24 сообщений из 24, страница 1 из 1
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271242
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Хотел бы вам показать краем глаза одну очень крутую вещь. То, чего вообще ни у кого нет, но чуть более детально.
Это вещь при этом оттестирована на десятках тысячах серверов с профилями нагрузки, какие в природе вообще существуют. Поэтому цэ - не только моя заслуга. Но может иметь статус полноценного Энерпрайза.

Правовой статус: Это моя разработка, но собственность компании. То есть показать могу. А дать ее вам - нет. Купить ее вы тоже не можете. Но может кто то догадается сделать.

Здесь вы можете строить отчеты в любом интервале с глубиной 14 дней и дискретизацией 1 мин.

Все запросы, все ожидания БД и все нагруженные и завершившиеся запросы. Есть кое что, чего и в Оракле нет )
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 14:48 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271277
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
1. первое на что смотрят - это в каком интервале построен отчет. Напомню что гулубина хранения - 2 недели, дискретизация 1 мин. В оракле дискретизация 1 час. то есть короткие проблемы в историческом интервале исследовать в Оракл почти невозможно.

Начальный и конечный снапшот. И также общее время сессий. в данном случае, как сидим был значительный всплеск с 200 до 1200

Также есть информация об интервале снапшота и uptime БД.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарыныч
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271297
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Шапка.

1. Оперативная информация о версии БД

2. Утилизация соединений и лимиты на начальном снимке

3. Утилизация соединений и лимиты на конечном снимке

4. Изменение размера БД на начальном и конечном снимке.

5. Информация о хосте , его ресурсах и платформе.

6. max_connections
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарыныч
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271300
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это хорошо, что вы накостылили для PG свой аналога AWR от Оракла. Там в Оракле ещё много чего хорошего есть, чего в PG пока нет. Работы у вас много.
...
Изменено: 28.12.2024, 15:13 - Кусь
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271302
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Кусь  28.12.2024, 15:12
[игнорируется]
Это хорошо, что вы накостылили для PG свой аналога AWR От
Он лучше чем оракловый. Но да в целом похоже и по оформлению и частично по структуре
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 15:14 - Тень на плетень
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271303
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  28.12.2024, 15:13
[игнорируется]
Кусь  28.12.2024, 15:12
[игнорируется]
Это хорошо, что вы накостылили для PG свой аналога AWR от Оракла. Там в Оракле ещё много чего хорошего есть, чего в PG пока нет. Работы у вас много.
Он лучше чем оракловый.
Несомненно!
...
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271307
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Общий профиль нагрузки.

Всё то же самое что и в pg_stat_database , но в интервале времени , а не с момента сброса статистики (!)

здесь можно видеть динамику INSERT/DELETE/UPDATE , чтений из Shared buffers и дисков на физическом уровне блоков.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 15:18 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271310
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Статистика ожиданий на уровне БД.

Как общая, так и с разбивкой по БД и пользователям.

Здесь можно видеть в общем в чем могут быть проблемы. То ли это удержание прикладом например на idle in transactions, либо на уровне ввода вывода IO, или разделяемой памяти.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 15:22 - Тень на плетень
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271313
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Две секции Top CPU и Top MEM

Сюда могут попадать и незавершившиеся запросы, то чего нет в pg_stat_statements

Фактически это джоин pg_stat_activity и htop по pid. таким образом чтобы понимать как именно утилизирует конкретный pid ресурсы. В Оракле это сделано через агент unux. Здесь же мы выполним системные bash запросы прями из pg, без необходимости в агенте.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271323
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
История блокировок (то чего в Оракле нет)

Слева кто блокирует и кого в данный момент времени. И на каких ожиданиях.
scale_1200.png
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 15:40 - Тень на плетень
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271326
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Длинные транзакции.

Всё что более 5 мин. С информацией о транзакции и времени начала запроса.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271328
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Прогресс VACUUM FULL/CLUSTER, VACUUM, CREATE INDEX

Если в этом интервале они были запущены.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271337
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Далее идет сnатистика по pg_stat_statements с разными сортировками.

Особенность ее в том, что она показывает статистику только по завершенным запросам.

Наиболее интересная секция:

SQL ordered by Shared blocks hit

Она показывает косвенно то что в запросах либо нет индексов, либо они неоптимальны. Что весьма полезно для анализа.
scale_1200.png
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271349
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Далее идут секции, показывающие работу чек пойнтера, генерацию WAL и статистику по их арахивации а также общую статистику БД по номеру транзакции и возрасту БД (полезно для анализа VACUUM FREEZE)
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271352
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
И в самом конце ora.init. Куда же без него. :)))

Список всех параметров БД.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарыныч
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271354
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
При помощи этой штуки можно анализировать вообще все возможные проблемы на БД не прибегая к другим средствам. При этом иметь абсолютно полную картину происходящего на БД. Отчёт легко прикреплять в письма, тикеты и т.д. )
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 16:05 - Тень на плетень
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271355
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
А какая шикарная архитектура у этой системы... ) [:wub]По этому поводу как раз и напишу статейку.

Полковник Кедра Митрей доклад закончил![:smile]
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 15:57 - Тень на плетень
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271358
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Тень на плетень  28.12.2024, 15:57
[игнорируется]
А какая шикарная архитектура у этой системы... ) [:wub]По этому поводу как раз и напишу статейку.

Полковник Кедра Митрей доклад закончил![:smile]
вольно, полковник :)
...
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271659
Фотография Ифрит
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень [игнорируется] 

* ну в awr оракла частоту снимков можно увеличить

а вот ash в pg, да ёщё и отчетом, это реально здорово, зачод )
этим покруче, чем pg_profile будет

и - зы. а вот.. пруф не буду искать, но, вроде, ты ж сулился на пгконфе разработку обнародовать.. ((

второе "зы" - теперь сюда допиливай addm ))
...
Изменено: 28.12.2024, 20:27 - Ифрит
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271739
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  28.12.2024, 14:42
[игнорируется]
Хотел бы вам показать краем глаза одну очень крутую вещь. То, чего вообще ни у кого нет, но чуть более детально.
Это вещь при этом оттестирована на десятках тысячах серверов с профилями нагрузки, какие в природе вообще существуют. Поэтому цэ - не только моя заслуга. Но может иметь статус полноценного Энерпрайза.

Правовой статус: Это моя разработка, но собственность компании. То есть показать могу. А дать ее вам - нет. Купить ее вы тоже не можете. Но может кто то догадается сделать.

Здесь вы можете строить отчеты в любом интервале с глубиной 14 дней и дискретизацией 1 мин.

Все запросы, все ожидания БД и все нагруженные и завершившиеся запросы. Есть кое что, чего и в Оракле нет )
5a5dbb4596aed550405876.jpeg
pgbadger изобрел?
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных,
идейный укр, который родился не в России
иноагент, но без официального статуса
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271741
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  28.12.2024, 15:08
[игнорируется]
Шапка.

1. Оперативная информация о версии БД

2. Утилизация соединений и лимиты на начальном снимке

3. Утилизация соединений и лимиты на конечном снимке

4. Изменение размера БД на начальном и конечном снимке.

5. Информация о хосте , его ресурсах и платформе.

6. max_connections
5a5dbb4596aed550405876.jpeg
Прометеус?
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных,
идейный укр, который родился не в России
иноагент, но без официального статуса
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271831
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Ифрит  28.12.2024, 20:25
[игнорируется]
Тень на плетень [игнорируется] 

* ну в awr оракла частоту снимков можно увеличить

а вот ash в pg, да ёщё и отчетом, это реально здорово, зачод )
этим покруче, чем pg_profile будет

и - зы. а вот.. пруф не буду искать, но, вроде, ты ж сулился на пгконфе разработку обнародовать.. ((

второе "зы" - теперь сюда допиливай addm ))
Да, а показывал её на WD conf правда. Но видишь это не совсем все правильно. Зачем показывать то, что дать людям все равно не можем. Надеюсь что кто тотзаймется этим для народа. Но рассказать как это сделать я могу.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1369645
Терабайт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
В ближайшее время выйдет pg awr версии 4.0.1. Это вообще бомба. Отключаемые модули и метрики собираются с кратной периодичностью. Полноценная реализация Active Sessions History (ash) не только с утилизацией по mem, CPU, но и по IO. Расширение pg_stat_statements в принципе уже не нужно. Оно не показывает незавершенные или откаченные сессии.

И это все еще работает очень быстро.

Также честно сперта из Оракла метрика Database tIme. Это все сессии которые находились не в состоянии idle. Но она показана как по завершенным так и активным сессиям. Фактически это условные "попугаи" в которых мы можем сказать загружена БД или нет в сравнении с другими интервалами времени.
...
Изменено: 30.03.2025, 12:06 - Терабайт
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1373438
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Терабайт  30.03.2025, 12:04
[игнорируется]
В ближайшее время выйдет pg awr версии 4.0.1. Это вообще бомба. Отключаемые модули и метрики собираются с кратной периодичностью. Полноценная реализация Active Sessions History (ash) не только с утилизацией по mem, CPU, но и по IO. Расширение pg_stat_statements в принципе уже не нужно. Оно не показывает незавершенные или откаченные сессии.

И это все еще работает очень быстро.

Также честно сперта из Оракла метрика Database tIme. Это все сессии которые находились не в состоянии idle. Но она показана как по завершенным так и активным сессиям. Фактически это условные "попугаи" в которых мы можем сказать загружена БД или нет в сравнении с другими интервалами времени.
Если уже тырить метрики у Oracle, тогда уж и Average Active Sessions, or AAS, is the core metric for monitoring and analyzing database performance.

https://www.kylehailey.com/post/setting-the-record-straight-a-comprehensive-guide-to-understanding-the-aas-metric-in-databases
...
Рейтинг: 0 / 0
24 сообщений из 24, страница 1 из 1
Форумы / PostgreSQL [закрыт для гостей] / Немного об историческом анализе профилей нагрузки в PostgreSQL
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]