powered by simpleCommunicator - 2.0.36     © 2025 Programmizd 02
Форумы / PostgreSQL [закрыт для гостей] / Немного об историческом анализе профилей нагрузки в PostgreSQL
22 сообщений из 22, страница 1 из 1
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271242
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Хотел бы вам показать краем глаза одну очень крутую вещь. То, чего вообще ни у кого нет, но чуть более детально.
Это вещь при этом оттестирована на десятках тысячах серверов с профилями нагрузки, какие в природе вообще существуют. Поэтому цэ - не только моя заслуга. Но может иметь статус полноценного Энерпрайза.

Правовой статус: Это моя разработка, но собственность компании. То есть показать могу. А дать ее вам - нет. Купить ее вы тоже не можете. Но может кто то догадается сделать.

Здесь вы можете строить отчеты в любом интервале с глубиной 14 дней и дискретизацией 1 мин.

Все запросы, все ожидания БД и все нагруженные и завершившиеся запросы. Есть кое что, чего и в Оракле нет )
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 14:48 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271277
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
1. первое на что смотрят - это в каком интервале построен отчет. Напомню что гулубина хранения - 2 недели, дискретизация 1 мин. В оракле дискретизация 1 час. то есть короткие проблемы в историческом интервале исследовать в Оракл почти невозможно.

Начальный и конечный снапшот. И также общее время сессий. в данном случае, как сидим был значительный всплеск с 200 до 1200

Также есть информация об интервале снапшота и uptime БД.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарыныч
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271297
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Шапка.

1. Оперативная информация о версии БД

2. Утилизация соединений и лимиты на начальном снимке

3. Утилизация соединений и лимиты на конечном снимке

4. Изменение размера БД на начальном и конечном снимке.

5. Информация о хосте , его ресурсах и платформе.

6. max_connections
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарыныч
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271300
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Это хорошо, что вы накостылили для PG свой аналога AWR от Оракла. Там в Оракле ещё много чего хорошего есть, чего в PG пока нет. Работы у вас много.
...
Изменено: 28.12.2024, 15:13 - Кусь
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271302
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кусь  28.12.2024, 15:12
[игнорируется]
Это хорошо, что вы накостылили для PG свой аналога AWR От
Он лучше чем оракловый. Но да в целом похоже и по оформлению и частично по структуре
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 15:14 - Тень на плетень
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271303
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  28.12.2024, 15:13
[игнорируется]
Кусь  28.12.2024, 15:12
[игнорируется]
Это хорошо, что вы накостылили для PG свой аналога AWR от Оракла. Там в Оракле ещё много чего хорошего есть, чего в PG пока нет. Работы у вас много.
Он лучше чем оракловый.
Несомненно!
...
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271307
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Общий профиль нагрузки.

Всё то же самое что и в pg_stat_database , но в интервале времени , а не с момента сброса статистики (!)

здесь можно видеть динамику INSERT/DELETE/UPDATE , чтений из Shared buffers и дисков на физическом уровне блоков.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 15:18 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271310
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Статистика ожиданий на уровне БД.

Как общая, так и с разбивкой по БД и пользователям.

Здесь можно видеть в общем в чем могут быть проблемы. То ли это удержание прикладом например на idle in transactions, либо на уровне ввода вывода IO, или разделяемой памяти.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 15:22 - Тень на плетень
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271313
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Две секции Top CPU и Top MEM

Сюда могут попадать и незавершившиеся запросы, то чего нет в pg_stat_statements

Фактически это джоин pg_stat_activity и htop по pid. таким образом чтобы понимать как именно утилизирует конкретный pid ресурсы. В Оракле это сделано через агент unux. Здесь же мы выполним системные bash запросы прями из pg, без необходимости в агенте.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271323
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
История блокировок (то чего в Оракле нет)

Слева кто блокирует и кого в данный момент времени. И на каких ожиданиях.
scale_1200.png
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 15:40 - Тень на плетень
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271326
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Длинные транзакции.

Всё что более 5 мин. С информацией о транзакции и времени начала запроса.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271328
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Прогресс VACUUM FULL/CLUSTER, VACUUM, CREATE INDEX

Если в этом интервале они были запущены.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271337
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Далее идет сnатистика по pg_stat_statements с разными сортировками.

Особенность ее в том, что она показывает статистику только по завершенным запросам.

Наиболее интересная секция:

SQL ordered by Shared blocks hit

Она показывает косвенно то что в запросах либо нет индексов, либо они неоптимальны. Что весьма полезно для анализа.
scale_1200.png
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271349
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Далее идут секции, показывающие работу чек пойнтера, генерацию WAL и статистику по их арахивации а также общую статистику БД по номеру транзакции и возрасту БД (полезно для анализа VACUUM FREEZE)
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271352
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
И в самом конце ora.init. Куда же без него. :)))

Список всех параметров БД.
5a5dbb4596aed550405876.jpeg
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: Гарыныч
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271354
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
При помощи этой штуки можно анализировать вообще все возможные проблемы на БД не прибегая к другим средствам. При этом иметь абсолютно полную картину происходящего на БД. Отчёт легко прикреплять в письма, тикеты и т.д. )
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 16:05 - Тень на плетень
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271355
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А какая шикарная архитектура у этой системы... ) [:wub]По этому поводу как раз и напишу статейку.

Полковник Кедра Митрей доклад закончил![:smile]
...
С уважением, КѢдра МiтрейЪ.
Изменено: 28.12.2024, 15:57 - Тень на плетень
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271358
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
[spoiler][size=4][b]Клоп и Сталкер, жидки вы обоссаные, просто пройдите нахуй![/b][/size] [:nahui][/spoiler]
Тень на плетень  28.12.2024, 15:57
[игнорируется]
А какая шикарная архитектура у этой системы... ) [:wub]По этому поводу как раз и напишу статейку.

Полковник Кедра Митрей доклад закончил![:smile]
вольно, полковник :)
...
Гарыныч :
Клоп-жидок, тебе в 1991 году сколько годиков было? 19?
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271659
Фотография Ифрит
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень [игнорируется] 

* ну в awr оракла частоту снимков можно увеличить

а вот ash в pg, да ёщё и отчетом, это реально здорово, зачод )
этим покруче, чем pg_profile будет

и - зы. а вот.. пруф не буду искать, но, вроде, ты ж сулился на пгконфе разработку обнародовать.. ((

второе "зы" - теперь сюда допиливай addm ))
...
Изменено: 28.12.2024, 20:27 - Ифрит
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271739
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  28.12.2024, 14:42
[игнорируется]
Хотел бы вам показать краем глаза одну очень крутую вещь. То, чего вообще ни у кого нет, но чуть более детально.
Это вещь при этом оттестирована на десятках тысячах серверов с профилями нагрузки, какие в природе вообще существуют. Поэтому цэ - не только моя заслуга. Но может иметь статус полноценного Энерпрайза.

Правовой статус: Это моя разработка, но собственность компании. То есть показать могу. А дать ее вам - нет. Купить ее вы тоже не можете. Но может кто то догадается сделать.

Здесь вы можете строить отчеты в любом интервале с глубиной 14 дней и дискретизацией 1 мин.

Все запросы, все ожидания БД и все нагруженные и завершившиеся запросы. Есть кое что, чего и в Оракле нет )
5a5dbb4596aed550405876.jpeg
pgbadger изобрел?
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных,
идейный укр, который родился не в России
иноагент, но без официального статуса
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271741
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  28.12.2024, 15:08
[игнорируется]
Шапка.

1. Оперативная информация о версии БД

2. Утилизация соединений и лимиты на начальном снимке

3. Утилизация соединений и лимиты на конечном снимке

4. Изменение размера БД на начальном и конечном снимке.

5. Информация о хосте , его ресурсах и платформе.

6. max_connections
5a5dbb4596aed550405876.jpeg
Прометеус?
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных,
идейный укр, который родился не в России
иноагент, но без официального статуса
Рейтинг: 0 / 0
Немного об историческом анализе профилей нагрузки в PostgreSQL
    #1271831
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ифрит  28.12.2024, 20:25
[игнорируется]
Тень на плетень [игнорируется] 

* ну в awr оракла частоту снимков можно увеличить

а вот ash в pg, да ёщё и отчетом, это реально здорово, зачод )
этим покруче, чем pg_profile будет

и - зы. а вот.. пруф не буду искать, но, вроде, ты ж сулился на пгконфе разработку обнародовать.. ((

второе "зы" - теперь сюда допиливай addm ))
Да, а показывал её на WD conf правда. Но видишь это не совсем все правильно. Зачем показывать то, что дать людям все равно не можем. Надеюсь что кто тотзаймется этим для народа. Но рассказать как это сделать я могу.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 0 / 0
22 сообщений из 22, страница 1 из 1
Форумы / PostgreSQL [закрыт для гостей] / Немного об историческом анализе профилей нагрузки в PostgreSQL
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]