Вышел патч 2.0.31 (26.11.2024) / Вопросы по форуму

Оно всё равно табличку копирует.

А как это видно из скриншота?

...

Рейтинг:

0 / 0

09.12.2024, 11:18

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253740

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Горбатый ёж 09.12.2024, 11:18

[игнорируется]

1253737

Администратор 09.12.2024, 11:16

[игнорируется]

Оно всё равно табличку копирует.

А как это видно из скриншота?

внизу файлик появился временный '#sql-alter-477f-12083.ibd'

...

Изменено: 09.12.2024, 11:20 - Администратор

Рейтинг:

0 / 0

09.12.2024, 11:19

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253742

Горбатый ёж Привилегированный пользователь

Модератор форума

Сообщения: 19 280

Рейтинг: 4839 / 48

Администратор 09.12.2024, 11:19

[игнорируется]

1253740

Горбатый ёж 09.12.2024, 11:18

[игнорируется]

1253737

Администратор 09.12.2024, 11:16

[игнорируется]

Оно всё равно табличку копирует.

А как это видно из скриншота?

внизу файлик появился временный '#sql-alter-477f-12083.ibd'

Не думаю, что это само по себе говорит о копировании таблицы. Предыдущие строки вообще с индексами что-то мутят (непонятно зачем).

...

Рейтинг:

0 / 0

09.12.2024, 11:21

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253748

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Горбатый ёж 09.12.2024, 11:21

[игнорируется]

1253742

Администратор 09.12.2024, 11:19

[игнорируется]

1253740

Горбатый ёж 09.12.2024, 11:18

[игнорируется]

1253737

Администратор 09.12.2024, 11:16

[игнорируется]

Оно всё равно табличку копирует.

А как это видно из скриншота?

внизу файлик появился временный '#sql-alter-477f-12083.ibd'

Во всяком случае он всегда при этой операции создаёт фалик размером с саму таблицу. Я отсортировал вывод по последней дате изменений.

Файлик растёт

...

Рейтинг:

0 / 0

09.12.2024, 11:24

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253752

Горбатый ёж Привилегированный пользователь

Модератор форума

Сообщения: 19 280

Рейтинг: 4839 / 48

Администратор 09.12.2024, 11:24

[игнорируется]

1253748

Мда...

...

Рейтинг:

0 / 0

09.12.2024, 11:27

| Ответить | Цитировать | Написать

Вышел патч 2.0.31 (26.11.2024)

#1253753

ZаЛупина

Участник

Откуда: Грибная поляна

Сообщения: 34 015

Рейтинг: 3733 / 283

беZ трусиков!

Горбатый ёж 09.12.2024, 11:17

[игнорируется]

1253733

Всё таки какая эта ваша мария/майскуль ебала, столько хуеты тащат из-за введения иннодб, но помимо прочего ещё и дополнительной хуеты придумывают.

стильно, модно, молодёжно!

...

Рейтинг:

0 / 0

09.12.2024, 11:28

| Ответить | Цитировать | Написать

Вышел патч 2.0.31 (26.11.2024)

#1253754

Горбатый ёж Привилегированный пользователь

Модератор форума

Сообщения: 19 280

Рейтинг: 4839 / 48

Администратор [игнорируется]

А если удалить fulltext индекс и сделать alter?
Я так понимаю это уже пробовали и оно не помогло.

...

Рейтинг:

0 / 0

09.12.2024, 11:28

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253755

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Администратор 09.12.2024, 11:10

[игнорируется]

1253727

Дед-Скарабей 09.12.2024, 11:05

[игнорируется]

1253719

Если ты сейчас с рескрулем что то делаешь и при этом ноускруль все еще так быстро работает то железо у тебя неплохое:)

Запустил

Код: SQL

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.

MariaDB [RESQLRU]> SET SESSION alter_algorithm='INPLACE';
Query OK, 0 rows affected (0.000 sec)

MariaDB [RESQLRU]> show variables like '%alter%';
+-------------------------------------+------------------+
| Variable_name                       | Value            |
+-------------------------------------+------------------+
| alter_algorithm                     | INPLACE          |
| binlog_alter_two_phase              | OFF              |
| innodb_instant_alter_column_allowed | add_drop_reorder |
| innodb_online_alter_log_max_size    | 134217728        |
| old_alter_table                     | INPLACE          |
| system_versioning_alter_history     | ERROR            |
+-------------------------------------+------------------+
6 rows in set (0.001 sec)

MariaDB [RESQLRU]> alter table v1_post add has_telegram tinyint not null default 0;

нажралось свап с какого-то хрена и отвалилось по oom-kill

...

Рейтинг:

0 / 0

09.12.2024, 11:40

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253757

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Администратор 09.12.2024, 11:40

[игнорируется]

1253755

Администратор 09.12.2024, 11:10

[игнорируется]

1253727

Дед-Скарабей 09.12.2024, 11:05

[игнорируется]

1253719

Запустил

Код: SQL

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.

MariaDB [RESQLRU]> SET SESSION alter_algorithm='INPLACE';
Query OK, 0 rows affected (0.000 sec)

MariaDB [RESQLRU]> show variables like '%alter%';
+-------------------------------------+------------------+
| Variable_name                       | Value            |
+-------------------------------------+------------------+
| alter_algorithm                     | INPLACE          |
| binlog_alter_two_phase              | OFF              |
| innodb_instant_alter_column_allowed | add_drop_reorder |
| innodb_online_alter_log_max_size    | 134217728        |
| old_alter_table                     | INPLACE          |
| system_versioning_alter_history     | ERROR            |
+-------------------------------------+------------------+
6 rows in set (0.001 sec)

MariaDB [RESQLRU]> alter table v1_post add has_telegram tinyint not null default 0;

нажралось свап с какого-то хрена и отвалилось по oom-kill

Откатила всё назад.

Что-то ей тупо по ресурсам не хватает

Код

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.

[root@sql2 my.cnf.d]# cat mariadb-server.cnf | grep -v ^#

[server]

[mysqld]
datadir=/var/lib/mysql/mnt/DB
socket=/var/lib/mysql/mysql.sock
log-error=/var/log/mariadb/mariadb.log
pid-file=/run/mariadb/mariadb.pid

innodb_buffer_pool_size = 64G
innodb_log_file_size = 4096M
innodb_log_buffer_size = 256M
innodb_read_io_threads = 24
innodb_write_io_threads = 24
expire_logs_days = 1
log_bin
log_slave_updates = 1

max_allowed_packet = 1024M
max_connections = 1024

query_cache_type=1
query_cache_size=100663296
query_cache_limit=1048576
query_cache_min_res_unit=4096

innodb_ft_cache_size=128000000

[galera]

[embedded]

[mariadb]

[mariadb-10.11]

[root@sql2 my.cnf.d]#

...

Рейтинг:

0 / 0

09.12.2024, 11:45

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253758

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Горбатый ёж 09.12.2024, 11:28

[игнорируется]

я уже даже забыл, но вроде да, пробовали без индексов. Индексы потом всю ночь делались, потому что при создании индекса она тоже копирует таблицу. там 22 индекса, на каждый уходило 30 минут, а на полнотекстовый несколько часов. Но с индексами сработал алогоритм NOCOPY, всё, кроме полнотекстового, она делала сравнительно быстро, если 30 минут можно сказать быстро.

...

Рейтинг:

0 / 0

09.12.2024, 11:46

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253765

Дед-Скарабей ✓ Привилегированный пользователь

Участник

Сообщения: 20 312

Рейтинг: 3768 / 27

Горбатый ёж 09.12.2024, 11:28

[игнорируется]

Пробовали. Оно потмо ругалось. Есть предположение что просто по ИО не вывозило, а сейчас вывезет.

...

Рейтинг:

0 / 0

09.12.2024, 11:55

| Ответить | Цитировать | Написать

Вышел патч 2.0.31 (26.11.2024)

#1253770

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Администратор 09.12.2024, 11:45

[игнорируется]

1253757

Администратор 09.12.2024, 11:40

[игнорируется]

1253755

Администратор 09.12.2024, 11:10

[игнорируется]

1253727

Дед-Скарабей 09.12.2024, 11:05

[игнорируется]

1253719

Запустил

Код: SQL

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.

MariaDB [RESQLRU]> SET SESSION alter_algorithm='INPLACE';
Query OK, 0 rows affected (0.000 sec)

MariaDB [RESQLRU]> show variables like '%alter%';
+-------------------------------------+------------------+
| Variable_name                       | Value            |
+-------------------------------------+------------------+
| alter_algorithm                     | INPLACE          |
| binlog_alter_two_phase              | OFF              |
| innodb_instant_alter_column_allowed | add_drop_reorder |
| innodb_online_alter_log_max_size    | 134217728        |
| old_alter_table                     | INPLACE          |
| system_versioning_alter_history     | ERROR            |
+-------------------------------------+------------------+
6 rows in set (0.001 sec)

MariaDB [RESQLRU]> alter table v1_post add has_telegram tinyint not null default 0;

нажралось свап с какого-то хрена и отвалилось по oom-kill

Откатила всё назад.

Что-то ей тупо по ресурсам не хватает

Код

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.

[root@sql2 my.cnf.d]# cat mariadb-server.cnf | grep -v ^#

[server]

[mysqld]
datadir=/var/lib/mysql/mnt/DB
socket=/var/lib/mysql/mysql.sock
log-error=/var/log/mariadb/mariadb.log
pid-file=/run/mariadb/mariadb.pid

innodb_buffer_pool_size = 64G
innodb_log_file_size = 4096M
innodb_log_buffer_size = 256M
innodb_read_io_threads = 24
innodb_write_io_threads = 24
expire_logs_days = 1
log_bin
log_slave_updates = 1

max_allowed_packet = 1024M
max_connections = 1024

query_cache_type=1
query_cache_size=100663296
query_cache_limit=1048576
query_cache_min_res_unit=4096

innodb_ft_cache_size=128000000

[galera]

[embedded]

[mariadb]

[mariadb-10.11]

[root@sql2 my.cnf.d]#

Код

1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
56.
57.
58.
59.
60.
61.
62.
63.
64.
65.
66.
67.
68.
69.
70.
71.
72.
73.
74.
75.
76.
77.
78.
79.
80.
81.
82.
83.
84.
85.
86.
87.
88.
89.
90.
91.
92.
93.
94.
95.
96.
97.
98.
99.
100.
101.
102.
103.
104.
105.
106.
107.
108.
109.
110.
111.
112.
113.
114.
115.
116.
117.

Dec  9 11:29:45 sql2 kernel: systemd-oomd invoked oom-killer: gfp_mask=0x140cca(GFP_HIGHUSER_MOVABLE|__GFP_COMP), order=0, oom_score_adj=-900
Dec  9 11:29:45 sql2 kernel: CPU: 2 PID: 1436 Comm: systemd-oomd Not tainted 6.6.34-1.red80.x86_64 #1
Dec  9 11:29:45 sql2 kernel: Hardware name: QEMU Standard PC (i440FX + PIIX, 1996), BIOS 1.16.0-alt1 04/01/2014
Dec  9 11:29:45 sql2 kernel: Call Trace:
Dec  9 11:29:45 sql2 kernel: <TASK>
Dec  9 11:29:45 sql2 kernel: dump_stack_lvl+0x47/0x60
Dec  9 11:29:45 sql2 kernel: dump_header+0x4a/0x260
Dec  9 11:29:45 sql2 kernel: oom_kill_process+0xf9/0x190
Dec  9 11:29:45 sql2 kernel: out_of_memory+0x162/0x540
Dec  9 11:29:45 sql2 kernel: __alloc_pages_slowpath.constprop.0+0xb51/0xe40
Dec  9 11:29:45 sql2 kernel: __alloc_pages+0x21c/0x240
Dec  9 11:29:45 sql2 kernel: folio_alloc+0x1b/0x50
Dec  9 11:29:45 sql2 kernel: __filemap_get_folio+0x16e/0x380
Dec  9 11:29:45 sql2 kernel: filemap_fault+0x205/0xba0
Dec  9 11:29:45 sql2 kernel: __do_fault+0x33/0x150
Dec  9 11:29:45 sql2 kernel: do_fault+0x2b7/0x480
Dec  9 11:29:45 sql2 kernel: __handle_mm_fault+0x79d/0xc30
Dec  9 11:29:45 sql2 kernel: handle_mm_fault+0x182/0x370
Dec  9 11:29:45 sql2 kernel: do_user_addr_fault+0x1fb/0x630
Dec  9 11:29:45 sql2 kernel: exc_page_fault+0x77/0x170
Dec  9 11:29:45 sql2 kernel: asm_exc_page_fault+0x26/0x30
Dec  9 11:29:45 sql2 kernel: RIP: 0033:0x7f3c61582208
Dec  9 11:29:45 sql2 kernel: Code: Unable to access opcode bytes at 0x7f3c615821de.
Dec  9 11:29:45 sql2 kernel: RSP: 002b:00007ffdbbfcbf30 EFLAGS: 00010203
Dec  9 11:29:45 sql2 kernel: RAX: 00007f3c608789e0 RBX: 000055b235bd23b0 RCX: 0000000000000000
Dec  9 11:29:45 sql2 kernel: RDX: 0000000000000000 RSI: 00007ffdbbfcbf7f RDI: 000055b235bd23b0
Dec  9 11:29:45 sql2 kernel: RBP: 00007ffdbbfcbf7f R08: 0000000000001000 R09: 0000000000000000
Dec  9 11:29:45 sql2 kernel: R10: 0000000000001000 R11: 0000000000000246 R12: 0000000000000000
Dec  9 11:29:45 sql2 kernel: R13: 0000000000000000 R14: 000055b235bd23b0 R15: 0000000000100000
Dec  9 11:29:45 sql2 kernel: </TASK>
Dec  9 11:29:45 sql2 kernel: Mem-Info:
Dec  9 11:29:45 sql2 kernel: active_anon:19374400 inactive_anon:4290198 isolated_anon:0#012 active_file:1406 inactive_file:3883 isolated_file:0#012 unevictable:0 dirty:41 writeback:0#012 slab_reclaimable:43404 slab_unreclaimable:38299#012 mapped:149 shmem:9739737 pagetables:28557#012 sec_pagetables:0 bounce:0#012 kernel_misc_reclaimable:0#012 free:119528 free_pcp:455 free_cma:0
Dec  9 11:29:45 sql2 kernel: Node 0 active_anon:77497600kB inactive_anon:17160792kB active_file:5744kB inactive_file:15532kB unevictable:0kB isolated(anon):0kB isolated(file):0kB mapped:596kB dirty:164kB writeback:0kB shmem:38958948kB shmem_thp:0kB shmem_pmdmapped:0kB anon_thp:0kB writeback_tmp:0kB kernel_stack:14080kB pagetables:114228kB sec_pagetables:0kB all_unreclaimable? no
Dec  9 11:29:45 sql2 kernel: Node 0 DMA free:11264kB boost:0kB min:8kB low:20kB high:32kB reserved_highatomic:0KB active_anon:0kB inactive_anon:0kB active_file:0kB inactive_file:0kB unevictable:0kB writepending:0kB present:15992kB managed:15360kB mlocked:0kB bounce:0kB free_pcp:0kB local_pcp:0kB free_cma:0kB
Dec  9 11:29:45 sql2 kernel: lowmem_reserve[]: 0 2971 96514 96514 96514
Dec  9 11:29:45 sql2 kernel: Node 0 DMA32 free:376140kB boost:0kB min:2080kB low:5120kB high:8160kB reserved_highatomic:0KB active_anon:2608780kB inactive_anon:72940kB active_file:0kB inactive_file:200kB unevictable:0kB writepending:0kB present:3129192kB managed:3063656kB mlocked:0kB bounce:0kB free_pcp:248kB local_pcp:0kB free_cma:0kB
Dec  9 11:29:45 sql2 kernel: lowmem_reserve[]: 0 0 93542 93542 93542
Dec  9 11:29:45 sql2 kernel: Node 0 Normal free:90708kB boost:0kB min:65492kB low:161276kB high:257060kB reserved_highatomic:26624KB active_anon:74888820kB inactive_anon:17087852kB active_file:5128kB inactive_file:15476kB unevictable:0kB writepending:164kB present:97517568kB managed:95795852kB mlocked:0kB bounce:0kB free_pcp:1572kB local_pcp:128kB free_cma:0kB
Dec  9 11:29:45 sql2 kernel: lowmem_reserve[]: 0 0 0 0 0
Dec  9 11:29:45 sql2 kernel: Node 0 DMA: 0*4kB 0*8kB 0*16kB 0*32kB 0*64kB 0*128kB 0*256kB 0*512kB 1*1024kB (U) 1*2048kB (M) 2*4096kB (M) = 11264kB
Dec  9 11:29:45 sql2 kernel: Node 0 DMA32: 26*4kB (UME) 64*8kB (UME) 91*16kB (UME) 83*32kB (UME) 71*64kB (UME) 56*128kB (UME) 42*256kB (UME) 20*512kB (UME) 13*1024kB (UE) 9*2048kB (M) 75*4096kB (M) = 376376kB
Dec  9 11:29:45 sql2 kernel: Node 0 Normal: 90*4kB (UME) 160*8kB (UME) 731*16kB (UME) 476*32kB (UME) 359*64kB (UME) 130*128kB (UME) 8*256kB (M) 8*512kB (M) 15*1024kB (M) 0*2048kB 0*4096kB = 89688kB
Dec  9 11:29:45 sql2 kernel: Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=1048576kB
Dec  9 11:29:45 sql2 kernel: Node 0 hugepages_total=0 hugepages_free=0 hugepages_surp=0 hugepages_size=2048kB
Dec  9 11:29:45 sql2 kernel: 9745136 total pagecache pages
Dec  9 11:29:45 sql2 kernel: 72 pages in swap cache
Dec  9 11:29:45 sql2 kernel: Free swap  = 0kB
Dec  9 11:29:45 sql2 kernel: Total swap = 10481656kB
Dec  9 11:29:45 sql2 kernel: 25165688 pages RAM
Dec  9 11:29:45 sql2 kernel: 0 pages HighMem/MovableOnly
Dec  9 11:29:45 sql2 kernel: 446971 pages reserved
Dec  9 11:29:45 sql2 kernel: 0 pages cma reserved
Dec  9 11:29:45 sql2 kernel: 0 pages hwpoisoned
Dec  9 11:29:45 sql2 kernel: Tasks state (memory values in pages):
Dec  9 11:29:45 sql2 kernel: [  pid  ]   uid  tgid total_vm      rss pgtables_bytes swapents oom_score_adj name
Dec  9 11:29:45 sql2 kernel: [    809]     0   809    14562      529   118784        0          -250 systemd-journal
Dec  9 11:29:45 sql2 kernel: [    831]     0   831     8773      974    90112        0         -1000 systemd-udevd
Dec  9 11:29:45 sql2 kernel: [    958]    32   958     3052      288    61440        0             0 rpcbind
Dec  9 11:29:45 sql2 kernel: [    959]   193   959     5737      912    90112        0             0 systemd-resolve
Dec  9 11:29:45 sql2 kernel: [    960]     0   960     4219      192    69632        0             0 systemd-userdbd
Dec  9 11:29:45 sql2 kernel: [    961]     0   961    23076      150    65536        0         -1000 auditd
Dec  9 11:29:45 sql2 kernel: [    966]     0   966     1515       48    45056        0             0 sedispatch
Dec  9 11:29:45 sql2 kernel: [    993]    81   993     2306      199    57344        0          -900 dbus-broker-lau
Dec  9 11:29:45 sql2 kernel: [    994]    81   994     1409      229    45056        0          -900 dbus-broker
Dec  9 11:29:45 sql2 kernel: [    995]     0   995   136966      576   167936        0             0 NetworkManager
Dec  9 11:29:45 sql2 kernel: [    998]     0   998    20347      240    57344        0             0 irqbalance
Dec  9 11:29:45 sql2 kernel: [   1001]     0  1001      643        0    40960        0             0 mcelog
Dec  9 11:29:45 sql2 kernel: [   1002]   991  1002   767040     1111   258048        0             0 polkitd
Dec  9 11:29:45 sql2 kernel: [   1004]   997  1004    21275      154    69632        0             0 chronyd
Dec  9 11:29:45 sql2 kernel: [   1005]     0  1005    20095       48    53248        0             0 qemu-ga
Dec  9 11:29:45 sql2 kernel: [   1013]     0  1013     4804      611    81920        0             0 systemd-logind
Dec  9 11:29:45 sql2 kernel: [   1035]     0  1035    79007      768   114688        0             0 ModemManager
Dec  9 11:29:45 sql2 kernel: [   1067]     0  1067    67852      188    98304        0             0 gssproxy
Dec  9 11:29:45 sql2 kernel: [   1082]     0  1082     2932      288    65536        0         -1000 sshd
Dec  9 11:29:45 sql2 kernel: [   1083]     0  1083   121071     3696   176128        0             0 tuned
Dec  9 11:29:45 sql2 kernel: [   1171]     0  1171   112075      583   454656        0             0 rsyslogd
Dec  9 11:29:45 sql2 kernel: [   1201]     0  1201    11940      197    77824        0             0 master
Dec  9 11:29:45 sql2 kernel: [   1205]    89  1205    12070      288    81920        0             0 qmgr
Dec  9 11:29:45 sql2 kernel: [   1215]     0  1215      887       48    45056        0             0 atd
Dec  9 11:29:45 sql2 kernel: [   1229]     0  1229    55836      192    69632        0             0 crond
Dec  9 11:29:45 sql2 kernel: [   1289]     0  1289    55430       48    53248        0             0 agetty
Dec  9 11:29:45 sql2 kernel: [   1436]   998  1436     4295      192    73728        0          -900 systemd-oomd
Dec  9 11:29:45 sql2 kernel: [   1438]  1000  1438     5794     1121    86016        0           100 systemd
Dec  9 11:29:45 sql2 kernel: [   1439]  1000  1439    44144     1696   106496        0           100 (sd-pam)
Dec  9 11:29:45 sql2 kernel: [   1446]  1000  1446    80198      480   106496        0           200 pipewire
Dec  9 11:29:45 sql2 kernel: [   1447]  1000  1447    99560      672   131072        0           200 wireplumber
Dec  9 11:29:45 sql2 kernel: [   1448]  1000  1448    78606      336   102400        0           200 pipewire-pulse
Dec  9 11:29:45 sql2 kernel: [   1456]  1000  1456     2200      144    57344        0           200 dbus-broker-lau
Dec  9 11:29:45 sql2 kernel: [   1457]  1000  1457     1178       48    45056        0           200 dbus-broker
Dec  9 11:29:45 sql2 kernel: [   1460]   172  1460     5333      144    53248        0             0 rtkit-daemon
Dec  9 11:29:45 sql2 kernel: [  18303]    27 18303 19502155 13899957 112746496        0             0 mysqld
Dec  9 11:29:45 sql2 kernel: [  18387]     0 18387     3754      384    65536        0             0 sshd
Dec  9 11:29:45 sql2 kernel: [  18389]  1000 18389     3788      422    65536        0             0 sshd
Dec  9 11:29:45 sql2 kernel: [  18390]  1000 18390    56205      528    73728        0             0 bash
Dec  9 11:29:45 sql2 kernel: [  18422]  1000 18422    59213      288   102400        0             0 sudo
Dec  9 11:29:45 sql2 kernel: [  18423]  1000 18423    59213      321    69632        0             0 sudo
Dec  9 11:29:45 sql2 kernel: [  18424]     0 18424    56238      576    65536        0             0 bash
Dec  9 11:29:45 sql2 kernel: [  19805]     0 19805     3754      384    69632        0             0 sshd
Dec  9 11:29:45 sql2 kernel: [  19807]  1000 19807     3827      411    69632        0             0 sshd
Dec  9 11:29:45 sql2 kernel: [  19808]  1000 19808    56205      528    69632        0             0 bash
Dec  9 11:29:45 sql2 kernel: [  19834]  1000 19834    59213      384    98304        0             0 sudo
Dec  9 11:29:45 sql2 kernel: [  19835]  1000 19835    59213      278    69632        0             0 sudo
Dec  9 11:29:45 sql2 kernel: [  19836]     0 19836    56270      576    73728        0             0 bash
Dec  9 11:29:45 sql2 kernel: [  19970]     0 19970    59515      768   102400        0             0 mysql
Dec  9 11:29:45 sql2 kernel: [  21799]    89 21799    12058      288    86016        0             0 pickup
Dec  9 11:29:45 sql2 kernel: [  21806]     0 21806     4306      192    73728        0             0 systemd-userwor
Dec  9 11:29:45 sql2 kernel: [  21815]     0 21815     4306      240    73728        0             0 systemd-userwor
Dec  9 11:29:45 sql2 kernel: [  21820]     0 21820     4306      288    73728        0             0 systemd-userwor
Dec  9 11:29:45 sql2 kernel: oom-kill:constraint=CONSTRAINT_NONE,nodemask=(null),cpuset=/,mems_allowed=0,global_oom,task_memcg=/system.slice/mariadb.service,task=mysqld,pid=18303,uid=27
Dec  9 11:29:45 sql2 kernel: Out of memory: Killed process 18303 (mysqld) total-vm:78008620kB, anon-rss:55598292kB, file-rss:1536kB, shmem-rss:0kB, UID:27 pgtables:110104kB oom_score_adj:0
Dec  9 11:29:45 sql2 systemd[1]: mariadb.service: A process of this unit has been killed by the OOM killer.
Dec  9 11:29:45 sql2 qemu-ga[1005]: info: guest-ping called
Dec  9 11:29:48 sql2 kernel: oom_reaper: reaped process 18303 (mysqld), now anon-rss:0kB, file-rss:1536kB, shmem-rss:0kB
Dec  9 11:29:49 sql2 systemd[1]: mariadb.service: Main process exited, code=killed, status=9/KILL
Dec  9 11:29:49 sql2 systemd[1]: mariadb.service: Failed with result 'oom-kill'.
Dec  9 11:29:49 sql2 audit[1]: SERVICE_STOP pid=1 uid=0 auid=4294967295 ses=4294967295 subj=system_u:system_r:init_t:s0 msg='unit=mariadb comm="systemd" exe="/usr/lib/systemd/systemd" hostname=? addr=? terminal=? res=failed'
Dec  9 11:29:49 sql2 systemd[1]: mariadb.service: Consumed 1h 38min 20.614s CPU time.

...

Рейтинг:

0 / 0

09.12.2024, 11:56

| Ответить | Цитировать | Написать

Вышел патч 2.0.31 (26.11.2024)

#1253774

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Попробую ка я увеличить памяти до 128 гигов и добавить ей диск со swap на 128 гигов

...

Рейтинг:

0 / 0

09.12.2024, 11:58

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253790

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Администратор 09.12.2024, 11:58

[игнорируется]

Попробую ка я увеличить памяти до 128 гигов и добавить ей диск со swap на 128 гигов

Ещё раз пробую. добавил диск и свап на 128 гигов. Памяти не добавлял пока, перезагрузка понадобится.

Пля, я щас рабочий ноусруль похерю экспериментами. Отваливание по памяти - это плохо. Данные могут побиться. Кластера нет, оно ниоткуда не откопирует БД больше, придётся восстанавливаться из бэкапа.

...

Рейтинг:

0 / 0

09.12.2024, 12:14

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253795

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Администратор 09.12.2024, 12:14

[игнорируется]

Администратор 09.12.2024, 11:58

[игнорируется]

Попробую ка я увеличить памяти до 128 гигов и добавить ей диск со swap на 128 гигов

То есть, 24 vCPU и 96 гигов памяти ей недостаточно, чтобы обработать табличку на 70 гигов?

уменьшил буферный пул с 64 до 24, чтобы ОС больше памяти было.

...

Рейтинг:

0 / 0

09.12.2024, 12:22

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253798

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Администратор 09.12.2024, 12:22

[игнорируется]

Администратор 09.12.2024, 12:14

[игнорируется]

Администратор 09.12.2024, 11:58

[игнорируется]

Попробую ка я увеличить памяти до 128 гигов и добавить ей диск со swap на 128 гигов

20 с чем-то гигабайт оно обрабатывает, дальше начинаются проблемы. Наблюдаю сейчас нажор памяти

...

Рейтинг:

0 / 0

09.12.2024, 12:27

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253812

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Администратор 09.12.2024, 12:27

[игнорируется]

Администратор 09.12.2024, 12:22

[игнорируется]

Администратор 09.12.2024, 12:14

[игнорируется]

Администратор 09.12.2024, 11:58

[игнорируется]

Попробую ка я увеличить памяти до 128 гигов и добавить ей диск со swap на 128 гигов

20 с чем-то гигабайт оно обрабатывает, дальше начинаются проблемы. Наблюдаю сейчас нажор памяти

26 гигов откопировала

...

Рейтинг:

0 / 0

09.12.2024, 12:40

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253831

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Администратор 09.12.2024, 12:40

[игнорируется]

Администратор 09.12.2024, 12:27

[игнорируется]

Администратор 09.12.2024, 12:22

[игнорируется]

Администратор 09.12.2024, 12:14

[игнорируется]

Администратор 09.12.2024, 11:58

[игнорируется]

...

20 с чем-то гигабайт оно обрабатывает, дальше начинаются проблемы. Наблюдаю сейчас нажор памяти

26 гигов откопировала

50% прошло. нажралась 85 гигов оперативки. Не хватит памяти до завершения.

...

Рейтинг:

0 / 0

09.12.2024, 12:50

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253845

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Администратор 09.12.2024, 12:50

[игнорируется]

1253831

Администратор 09.12.2024, 12:40

[игнорируется]

Администратор 09.12.2024, 12:27

[игнорируется]

Администратор 09.12.2024, 12:22

[игнорируется]

Администратор 09.12.2024, 12:14

[игнорируется]

...

20 с чем-то гигабайт оно обрабатывает, дальше начинаются проблемы. Наблюдаю сейчас нажор памяти

26 гигов откопировала

50% прошло. нажралась 85 гигов оперативки. Не хватит памяти до завершения.

45 гигов откопировала. ещё 25 гигов. Осталось 6 гигов свободной оперативки. Она кончится - полезет в свап и начнутся дикие тормоза. Может опять отвалится процесс по oom-kill

...

Рейтинг:

0 / 0

09.12.2024, 12:58

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253852

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Администратор 09.12.2024, 12:58

[игнорируется]

1253845

Администратор 09.12.2024, 12:50

[игнорируется]

1253831

Администратор 09.12.2024, 12:40

[игнорируется]

Администратор 09.12.2024, 12:27

[игнорируется]

Администратор 09.12.2024, 12:22

[игнорируется]

...

20 с чем-то гигабайт оно обрабатывает, дальше начинаются проблемы. Наблюдаю сейчас нажор памяти

26 гигов откопировала

50% прошло. нажралась 85 гигов оперативки. Не хватит памяти до завершения.

75%. 3 гига свободной оперативки.

...

Рейтинг:

0 / 0

09.12.2024, 13:03

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253853

Горбатый ёж Привилегированный пользователь

Модератор форума

Сообщения: 19 280

Рейтинг: 4839 / 48

Администратор 09.12.2024, 11:46

[игнорируется]

1253758

Горбатый ёж 09.12.2024, 11:28

[игнорируется]

Это на добавление столбца столько времени уходит?
Ну, хорошо, предположим это из-за большого кол-ва записей в таблице.
Тогда убрать дефолтное значение на столбец, добавить его. Проставить значения в отдельном джобе например. Проставить дефолтное значение для столбца.
На больших таблицах в принципе добавление столбца с дефолтом будет тормозить.

...

Рейтинг:

0 / 0

09.12.2024, 13:05

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253858

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Горбатый ёж 09.12.2024, 13:05

[игнорируется]

1253853

Администратор 09.12.2024, 11:46

[игнорируется]

1253758

Горбатый ёж 09.12.2024, 11:28

[игнорируется]

это когда индексы создавались. ну сейчас уже почти час идёт попытка добавить колонку. Она видимо не только тупо копирует, но ещё там что-то своё делает.

в ресклру, если правильно помню, что-то вроде 40 млн строк в постах.

...

Рейтинг:

0 / 0

09.12.2024, 13:08

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253866

Администратор

Сообщения: 0

Рейтинг: 0 / 0

Администратор 09.12.2024, 13:03

[игнорируется]

1253852

Администратор 09.12.2024, 12:58

[игнорируется]

1253845

Администратор 09.12.2024, 12:50

[игнорируется]

1253831

Администратор 09.12.2024, 12:40

[игнорируется]

Администратор 09.12.2024, 12:27

[игнорируется]

...

26 гигов откопировала

50% прошло. нажралась 85 гигов оперативки. Не хватит памяти до завершения.

75%. 3 гига свободной оперативки.

память кончилась. залезла в свап и отвалилась с ошибкой

Код: SQL

1.
2.
3.

MariaDB [RESQLRU]> alter table v1_post add has_telegram tinyint not null default 0;
ERROR 1034 (HY000): Index for table 'v1_post' is corrupt; try to repair it
MariaDB [RESQLRU]>

В логах воот это

Код: BASH

1.
2.
3.
4.

2024-12-09 13:10:10 0 [Warning] InnoDB: 1048576 bytes should have been written at 1320157184 from (unknown file), but got only 290816. Retrying.
2024-12-09 13:10:10 0 [Warning] InnoDB: 1048576 bytes should have been written at 1302331392 from (unknown file), but got only 999424. Retrying.
2024-12-09 13:10:10 0 [Warning] InnoDB: Retry attempts for writing partial data failed.
2024-12-09 13:10:10 0 [Warning] InnoDB: Retry attempts for writing partial data failed.

Щас ещё раз. Уменьшу буферный пул, больше памяти будет.

...

Рейтинг:

0 / 0

09.12.2024, 13:14

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253867

Горбатый ёж Привилегированный пользователь

Модератор форума

Сообщения: 19 280

Рейтинг: 4839 / 48

Администратор 09.12.2024, 13:08

[игнорируется]

1253858

Она видимо не только тупо копирует, но ещё там что-то своё делает.

Возможно.
Но вот это

Код: SQL

not null default 0

точно будет тормозить.
Потому что нужно помимо добавления столбца (что в принципе в нормальных СУБД в общем случае просто изменение словаря данных) нужно ещё и добавить данные в каждую запись, что уже совсем другие нагрузки.
Да, update тоже скушает много ресурсов, но он пойдёт в отдельной сессии, не должно помешать работе в принцпе.
Правда при этом на стороне клиента надо принудительно заполнять это поле, чтобы потом наложить условие нот нулл и дефолтное значение.
ЗЫ наличие индекса на этом поле усугубит добавление.

...

Рейтинг:

0 / 0

09.12.2024, 13:14

| Ответить | Цитировать | Написать | Ответы

Вышел патч 2.0.31 (26.11.2024)

#1253868