Привет. Деду вопрос передал. Обещал посмотреть.

Ага! На сайтах форках тоже пытались просто скачать, заглохли. А тут Кролик практически за неделю скачал и в форумный формат залил.

Кстати, сравнительно небольшая получилась. То что дед скачал, с болталками, там почти 80 гиг БД на диске. Файл дампа 35 гиг

С Дедом посоветуюсь, как лучше. Надо понять как сопоставить все с архивом Деды, наверное, надо вначале запускать дедов архив, потом уже по одному форуму импортировать. Ну и мне решить проблему с местом. Возможно, сразу буду делать на реальном хостинге.

Слишком много сообщений - это и тут такое. Специально сделал, скорее всего.

Можно кусочки готовые выкладывать для экономии места на Яндекс диск например. Пожми их бзипом, там архивы маленькие будут. Дедов архив дампа в 35 гигов пожатый зипом занимает 3+ гига в архиве.

Ты при импорте бинарные логи удалял? purge binary logs to <последний>. Я когда импортировал дедов архив - удалял постоянно, он бешено пишет туда транзакции.

с бинарными логами - сразу в два раза больше БД А они при импорте на хрен не нужны.

cahrim [игнорируется] 

Тоже места вообще нигде нет. Ни на ноутбуке, ни на десктопоном компе, ни на хостинге.

Наверное, надо сразу на хостинге всё-таки расширяться. 10 гигов - 89 рублей. это на полтера расшириться - +4450 рублей в месяц. Жесть. Ну вначале надо с БД поработать, объединить их, полтера должно хватить ) потом вложения, те что есть, запихну в я.диск, они отсосутся автоматом.

С такими ценами - эта рень будет вылазить за 10к+ в месяц. Это ещё если хватит места. А если чуваки вернутся - возможно и ресурсы память, ядра понадобиться увеличивать. Хрен его знает, во сколько это выльется.

Наверное, придётся присматриваться в сторону аренды полноценного сервера. Но минусы:
- доступное по цене по производительности ощутимо хуже текущей конфы, щас хоть процы современные, память быстрая и nvme флэшки быстрые. На дорогих тарифах хостер даже не пиздит ресурсы по процу, а серваки в аренду откровённое старьё
- сейчас хостер выполняет полные бэкапы ВМ и хранит их 14 дней. В случае собственного сервера придётся этим заниматься самостоятельно, без виртуализации не обойтись
- некоторое время, пока я всё настрою и мигрирую, придутся оплачивать и текущий хостинг и аренду сервера

На первой картинке конфа которую можно позволить себе ещё, но там по моему даже аппаратного рэйд нет. Это никуда не годится.

Вторая сойдет.

Денежек пока и нету. На донаты особо расчитывать нельзя, сегодня есть, завтра нет. В первую очередь надо расчитывать чтобы я сам это мог оплачивать. Место расширить придётся в любом случае, но постарюсь чтобы это особо ненакладно было.

aria_log - сколько занимает? У меня они они включены параметром log-bin и бьются каждый по гигабайту

вот тут как почистить

https://dev.mysql.com/doc/refman/8.0/en/purge-binary-logs.html

рекламы здесь не будет. Я ненавижу рекламу. донаты - пожалйста.

Я планирую два форума:
- этот, nosql.itwrks.org, полностью в текущем формате, с письками, сиськами
- sqlru.itwrks.org. Продолжение старого скуля с теми архивами, что есть, труды Деда и Кролика. Там можно правила построже, кому трэш и угар надо - сюда придут.

cat2, иноз, барсук, милиция (02), акуз, - как думаешь из каких нулевых? )) cat2 и акуз - это вообще именно те динозавры )))

Прежде всего, спасибо огромное за помощь! я попытаюсь тебя отблагодарить не только словесно :) Не сегодня-завтра, но это будет выполнено.

Сегодня скачаю архив. В реальные условия буду разворачивать уже, наверное, в августе. Сейчас денег расширять место нет. + ещё пашкины пакости, которые до конца не решены.

Вот только что подумал, обычно хостер при выскокой нагрузке, обрубает её. Тут хоть и отдельная ВМ и доступ без рута (пароли по умолчанию я поменял )в систему хостер не должен иметь во всяком случае, но на уровне виртуализации ограничивать работу по процессору и например вводу/выводу вполне возможно.

Так что тут большая вероятность, что это уже хостер ресурсы подрезал при большой нагрузке на ВМ, высокая утилизация cpu, диска - режет. ВОзможно, на дедофорум тоже подрезал. Я позже посмотрю в мониторинге детально, что происходило вообще по графикам.

cahrim [игнорируется] 

Архив скачал. Распаковывается нормально.

Больше пока ничего не делал.

pv есть, в репозитории epel. В штатных репозиториях нет.

Я пока не знаю, где буду.

Пока созрел план такой, дедов дамп брать за основу, так как он самый большой (34 гига сам дамп и примерно 80 БД на диске) и там восстановленный скуль в форуме болталок с рабочими никами. К нему уже прикручивать форумы, скачанные тобой, начиная с маленьких, смотреть, что получается и пытаться сопоставить ники, форумы, цитирование, ссылки на посты. в SQL я умею очень плохо, поэтому да, буду бэш скриптами и sed в основном. Мне нужно самому понять и вникнуть в алгоритм, тогда уже можно будет залить и все форумы, потом выгрузить и залить в рабочую версию.

Удобнее всего и не в ущерб никому это делать либо на компе, либо на ноутбуке. На ноутбуке, наверное, удобнее и приоритетнее, так как больше мобильности, комп с собой не возьмёшь. Но везде диски маленькие. Не знаю, может посмотрю какой дисочек ssd недорогой на терабайт хотя бы в ноут. В общем, это точно до августа как минимум, скорее всего. Кроме того, ещё работа.

на сервере форума и сопутствующем вспомогательном сервере установлен Rocky Linux release 8.8 (Green Obsidian). Это абсолютно тот же RedHat, только зелёный, ну как раньше CentOS был. epel - уже давно штатный репозиторий, то есть его можно поставить как дополнительный сразу после установки, ничего не надо скачивать, как раньше.Соответственно, там много софта, которого нет в базовых репозиториях.

Пробую заливать форумы на ноутбуке и объединять с дедовой БД. С жутким скрипом и скрежетом. Возможно, понадобится делать несколько раз ((

1. Заметил, в некоторых форумах количество тем не совпадает с теми, что на муркоде. Ну там на штук 10 где-то. Ну да фиг с ними.

2. Я полный лох, что пздц!!! На муркоде же базу выложили, которая там у них. В свободном доступе. По прямой ссылке. SQLLite, правда, и переделывать её под дедофорум всё-равно бы пришлось, но тем не менее это проще, чем скачивать и парсить с сайта.


https://drive.google.com/file/d/1gVUYbJJ0U7_HPfIG-o4CHAuH0R4GjjJy

Только сегодня зашёл на их сайте в раздел о проекте и увидел (((

Там то, что у них на сайте. Не смотрел, не качал.

Кролику было бы явно проще, наверное, чем скачивать и парсить.

Судя по размеру - без аттачей