| 
 | 
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
    
           
    
    #1271242
     
![]() Ссылка: 
    Ссылка на сообщение: 
    Ссылка с названием темы: 
    Ссылка на профиль пользователя: 
    Ссылка на вложение: 
     | 
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 
 #18+ 
    
  Хотел бы вам показать краем глаза одну очень крутую вещь. То, чего вообще ни у кого нет, но чуть более детально. Это вещь при этом оттестирована на десятках тысячах серверов с профилями нагрузки, какие в природе вообще существуют. Поэтому цэ - не только моя заслуга. Но может иметь статус полноценного Энерпрайза. Правовой статус: Это моя разработка, но собственность компании. То есть показать могу. А дать ее вам - нет. Купить ее вы тоже не можете. Но может кто то догадается сделать. Здесь вы можете строить отчеты в любом интервале с глубиной 14 дней и дискретизацией 1 мин. Все запросы, все ожидания БД и все нагруженные и завершившиеся запросы. Есть кое что, чего и в Оракле нет ) ...  | 
||||||||||||||||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
 | 
||||||||||||||||
| 28.12.2024, 14:42 | 
  
  
  
   | 
|||||||||||||||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
    
           
    
    #1271277
     
![]() Ссылка: 
    Ссылка на сообщение: 
    Ссылка с названием темы: 
    Ссылка на профиль пользователя: 
    Ссылка на вложение: 
     | 
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 
 #18+ 
    
  1. первое на что смотрят - это в каком интервале построен отчет. Напомню что гулубина хранения - 2 недели, дискретизация 1 мин. В оракле дискретизация 1 час. то есть короткие проблемы в историческом интервале исследовать в Оракл почти невозможно. Начальный и конечный снапшот. И также общее время сессий. в данном случае, как сидим был значительный всплеск с 200 до 1200 Также есть информация об интервале снапшота и uptime БД. ...  | 
||||||||||||||||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
 | 
||||||||||||||||
| 28.12.2024, 14:54 | 
  
  
  
   | 
|||||||||||||||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
    
           
    
    #1271297
     
![]() Ссылка: 
    Ссылка на сообщение: 
    Ссылка с названием темы: 
    Ссылка на профиль пользователя: 
    Ссылка на вложение: 
     | 
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 
 #18+ 
    
  Шапка. 1. Оперативная информация о версии БД 2. Утилизация соединений и лимиты на начальном снимке 3. Утилизация соединений и лимиты на конечном снимке 4. Изменение размера БД на начальном и конечном снимке. 5. Информация о хосте , его ресурсах и платформе. 6. max_connections ...  | 
||||||||||||||||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
 | 
||||||||||||||||
| 28.12.2024, 15:08 | 
  
  
  
   | 
|||||||||||||||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Это хорошо, что вы накостылили для PG свой аналога AWR от Оракла. Там в Оракле ещё много чего хорошего есть, чего в PG пока нет. Работы у вас много. ...  | 
|||
| 
 : 
Изменено: 28.12.2024, 15:13 - Кусь 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 28.12.2024, 15:12 | 
  
  
  
   | 
||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Это хорошо, что вы накостылили для PG свой аналога AWR От ...  | 
|||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
Изменено: 28.12.2024, 15:14 - Тень на плетень 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 28.12.2024, 15:13 | 
  
  
  
   | 
||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  
Несомненно! ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 28.12.2024, 15:14 | 
  
  
  
   | 
||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
    
           
    
    #1271307
     
![]() Ссылка: 
    Ссылка на сообщение: 
    Ссылка с названием темы: 
    Ссылка на профиль пользователя: 
    Ссылка на вложение: 
     | 
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 
 #18+ 
    
  Общий профиль нагрузки. Всё то же самое что и в pg_stat_database , но в интервале времени , а не с момента сброса статистики (!) здесь можно видеть динамику INSERT/DELETE/UPDATE , чтений из Shared buffers и дисков на физическом уровне блоков. ...  | 
||||||||||||||||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
 | 
||||||||||||||||
| 28.12.2024, 15:16 | 
  
  
  
   | 
|||||||||||||||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
    
           
    
    #1271310
     
![]() Ссылка: 
    Ссылка на сообщение: 
    Ссылка с названием темы: 
    Ссылка на профиль пользователя: 
    Ссылка на вложение: 
     | 
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 
 #18+ 
    
  Статистика ожиданий на уровне БД. Как общая, так и с разбивкой по БД и пользователям. Здесь можно видеть в общем в чем могут быть проблемы. То ли это удержание прикладом например на idle in transactions, либо на уровне ввода вывода IO, или разделяемой памяти. ...  | 
||||||||||||||||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
Изменено: 28.12.2024, 15:22 - Тень на плетень 
 Нравится:
      
  Не нравится:
      
  
   | 
||||||||||||||||
| 28.12.2024, 15:21 | 
  
  
  
   | 
|||||||||||||||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
    
           
    
    #1271313
     
![]() Ссылка: 
    Ссылка на сообщение: 
    Ссылка с названием темы: 
    Ссылка на профиль пользователя: 
    Ссылка на вложение: 
     | 
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 
 #18+ 
    
  Две секции Top CPU и Top MEM Сюда могут попадать и незавершившиеся запросы, то чего нет в pg_stat_statements Фактически это джоин pg_stat_activity и htop по pid. таким образом чтобы понимать как именно утилизирует конкретный pid ресурсы. В Оракле это сделано через агент unux. Здесь же мы выполним системные bash запросы прями из pg, без необходимости в агенте. ...  | 
||||||||||||||||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
 Нравится:
      
  Не нравится:
      
  
   | 
||||||||||||||||
| 28.12.2024, 15:29 | 
  
  
  
   | 
|||||||||||||||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
    
           
    
    #1271323
     
![]() Ссылка: 
    Ссылка на сообщение: 
    Ссылка с названием темы: 
    Ссылка на профиль пользователя: 
    Ссылка на вложение: 
     | 
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 
 #18+ 
    
  История блокировок (то чего в Оракле нет) Слева кто блокирует и кого в данный момент времени. И на каких ожиданиях. ...  | 
||||||||||||||||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
Изменено: 28.12.2024, 15:40 - Тень на плетень 
 Нравится:
      
  Не нравится:
      
  
   | 
||||||||||||||||
| 28.12.2024, 15:39 | 
  
  
  
   | 
|||||||||||||||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
    
           
    
    #1271326
     
![]() Ссылка: 
    Ссылка на сообщение: 
    Ссылка с названием темы: 
    Ссылка на профиль пользователя: 
    Ссылка на вложение: 
     | 
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 
 #18+ 
    
  ...  | 
||||||||||||||||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
 Нравится:
      
  Не нравится:
      
  
   | 
||||||||||||||||
| 28.12.2024, 15:42 | 
  
  
  
   | 
|||||||||||||||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
    
           
    
    #1271328
     
![]() Ссылка: 
    Ссылка на сообщение: 
    Ссылка с названием темы: 
    Ссылка на профиль пользователя: 
    Ссылка на вложение: 
     | 
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 
 #18+ 
    
  ...  | 
||||||||||||||||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
 Нравится:
      
  Не нравится:
      
  
   | 
||||||||||||||||
| 28.12.2024, 15:44 | 
  
  
  
   | 
|||||||||||||||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
    
           
    
    #1271337
     
![]() Ссылка: 
    Ссылка на сообщение: 
    Ссылка с названием темы: 
    Ссылка на профиль пользователя: 
    Ссылка на вложение: 
     | 
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 
 #18+ 
    
  Далее идет сnатистика по pg_stat_statements с разными сортировками. Особенность ее в том, что она показывает статистику только по завершенным запросам. Наиболее интересная секция: SQL ordered by Shared blocks hit Она показывает косвенно то что в запросах либо нет индексов, либо они неоптимальны. Что весьма полезно для анализа. ...  | 
||||||||||||||||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
 Нравится:
      
  Не нравится:
      
  
   | 
||||||||||||||||
| 28.12.2024, 15:49 | 
  
  
  
   | 
|||||||||||||||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
    
           
    
    #1271349
     
![]() Ссылка: 
    Ссылка на сообщение: 
    Ссылка с названием темы: 
    Ссылка на профиль пользователя: 
    Ссылка на вложение: 
     | 
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 
 #18+ 
    
  Далее идут секции, показывающие работу чек пойнтера, генерацию WAL и статистику по их арахивации а также общую статистику БД по номеру транзакции и возрасту БД (полезно для анализа VACUUM FREEZE) ...  | 
||||||||||||||||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
 Нравится:
      
  Не нравится:
      
  
   | 
||||||||||||||||
| 28.12.2024, 15:53 | 
  
  
  
   | 
|||||||||||||||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
    
           
    
    #1271352
     
![]() Ссылка: 
    Ссылка на сообщение: 
    Ссылка с названием темы: 
    Ссылка на профиль пользователя: 
    Ссылка на вложение: 
     | 
||||||||||||||||
|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
| 
 #18+ 
    
  ...  | 
||||||||||||||||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
 | 
||||||||||||||||
| 28.12.2024, 15:55 | 
  
  
  
   | 
|||||||||||||||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  При помощи этой штуки можно анализировать вообще все возможные проблемы на БД не прибегая к другим средствам. При этом иметь абсолютно полную картину происходящего на БД. Отчёт легко прикреплять в письма, тикеты и т.д. ) ...  | 
|||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
Изменено: 28.12.2024, 16:05 - Тень на плетень 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 28.12.2024, 15:56 | 
  
  
  
   | 
||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  А какая шикарная архитектура у этой системы... )   По этому поводу как раз и напишу статейку.Полковник Кедра Митрей доклад закончил! ![]() ...  | 
|||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
Изменено: 28.12.2024, 15:57 - Тень на плетень 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 28.12.2024, 15:57 | 
  
  
  
   | 
||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  А какая шикарная архитектура у этой системы... )   По этому поводу как раз и напишу статейку.Полковник Кедра Митрей доклад закончил! ![]() ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 28.12.2024, 16:00 | 
  
  
  
   | 
||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Хотел бы вам показать краем глаза одну очень крутую вещь. То, чего вообще ни у кого нет, но чуть более детально. Это вещь при этом оттестирована на десятках тысячах серверов с профилями нагрузки, какие в природе вообще существуют. Поэтому цэ - не только моя заслуга. Но может иметь статус полноценного Энерпрайза. Правовой статус: Это моя разработка, но собственность компании. То есть показать могу. А дать ее вам - нет. Купить ее вы тоже не можете. Но может кто то догадается сделать. Здесь вы можете строить отчеты в любом интервале с глубиной 14 дней и дискретизацией 1 мин. Все запросы, все ожидания БД и все нагруженные и завершившиеся запросы. Есть кое что, чего и в Оракле нет ) ...  | 
|||
| 
 коротко о себе по версии дедофорумчан: 
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных, идейный укр, который родился не в России иноагент, но без официального статуса : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 28.12.2024, 22:43 | 
  
  
  
   | 
||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  
Прометеус? ...  | 
|||
| 
 коротко о себе по версии дедофорумчан: 
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных, идейный укр, который родился не в России иноагент, но без официального статуса : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 28.12.2024, 22:44 | 
  
  
  
   | 
||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Тень на плетень [игнорируется]  * ну в awr оракла частоту снимков можно увеличить а вот ash в pg, да ёщё и отчетом, это реально здорово, зачод ) этим покруче, чем pg_profile будет и - зы. а вот.. пруф не буду искать, но, вроде, ты ж сулился на пгконфе разработку обнародовать.. (( второе "зы" - теперь сюда допиливай addm )) ...  | 
|||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 29.12.2024, 00:21 | 
  
  
  
   | 
||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  В ближайшее время выйдет pg awr версии 4.0.1. Это вообще бомба. Отключаемые модули и метрики собираются с кратной периодичностью. Полноценная реализация Active Sessions History (ash)  не только с утилизацией по mem, CPU, но и по IO. Расширение pg_stat_statements в принципе уже не нужно. Оно не показывает незавершенные или откаченные сессии. И это все еще работает очень быстро. Также честно сперта из Оракла метрика Database tIme. Это все сессии которые находились не в состоянии idle. Но она показана как по завершенным так и активным сессиям. Фактически это условные "попугаи" в которых мы можем сказать загружена БД или нет в сравнении с другими интервалами времени. ...  | 
|||
| 
 : 
Изменено: 30.03.2025, 12:06 - Терабайт 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 30.03.2025, 12:04 | 
  
  
  
   | 
||
| 
 
Немного об историческом анализе профилей нагрузки в PostgreSQL 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  В ближайшее время выйдет pg awr версии 4.0.1. Это вообще бомба. Отключаемые модули и метрики собираются с кратной периодичностью. Полноценная реализация Active Sessions History (ash)  не только с утилизацией по mem, CPU, но и по IO. Расширение pg_stat_statements в принципе уже не нужно. Оно не показывает незавершенные или откаченные сессии. И это все еще работает очень быстро. Также честно сперта из Оракла метрика Database tIme. Это все сессии которые находились не в состоянии idle. Но она показана как по завершенным так и активным сессиям. Фактически это условные "попугаи" в которых мы можем сказать загружена БД или нет в сравнении с другими интервалами времени. https://www.kylehailey.com/post/setting-the-record-straight-a-comprehensive-guide-to-understanding-the-aas-metric-in-databases ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 02.04.2025, 22:51 | 
  
  
  
   | 
||
| 
 | 

start [/forum/topic.php?fid=19&gotonew=1&tid=29589]:  | 
    0ms | 
get settings:  | 
    11ms | 
get forum list:  | 
    15ms | 
check forum access:  | 
    5ms | 
check topic access:  | 
    5ms | 
track hit:  | 
    38ms | 
get topic data:  | 
    12ms | 
get first new msg:  | 
    8ms | 
get forum data:  | 
    3ms | 
get page messages:  | 
    99ms | 
get tp. blocked users:  | 
    2ms | 
| others: | 29ms | 
| total: | 227ms | 

| 0 / 0 | 

    Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
    
    
    «На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
    
    
    ... ля, ля, ля ...