За год до СВО я тоже мутил проект:) У меня кое что есть

Выкачивание ПТ

Форум ПТ на sql.ru прекратил существование быстро и неожиданно 3 августа 2018 года. Темы и сообщения не были удалены физически, жужель просто в коде поставил заслонку
If ПТ then Облом
Поэтому доступ отсутствует даже у модераторов. Однако через поиск и избранные темы еще видны, но войти в них нельзя.
Казалось бы, шансов подобраться к постам никаких, но нашелся въедливый участник форума, который таки нашел лазейку. При вызове поста на цитирование защиты нет. Об этой лазейке он сообщил мне, я как узнал о ней сразу проверил еще одну догадку – вызов поста на редактирование. Оно тоже оказалось незащищенным, более того любой модератор может вызывать на редактирование любой пост, даже если он не в подотчетном форуме.
Это был охуенный шанс. Решением было просто пробежаться по всем постам от 1 до 22000000. Изначально мы не знаем какой теме и какому форуму принадлежит пост, поэтому бежать нужно через все и проверять.
Вызвать пост на редактирование и забрать BB код. Это намного лучше и эффективнее чем обратный парсинг HTML.
Но у этого решения был ряд ограничений, многие из которых удалось решить, но не все.
Проблема 1: При вызове на редактирование не подгружается ни дата поста, ни id топика, ни id форума. Но название топика есть!
Узнать id топика.
Переходим напрямую к текущему сообщению по id сообщения, получаем отлуп что тема не доступна, но в урл уже фигугирует id топика.
Узнать id форума.
Добавляем топик по известному id топика в избранное, напротив него в таблице появляется название и id форума. Выпарсиваем его.

Узнать дату поста.
Тут только приблизительно. Но хорошо то, что кроме ПТ часто постили и на других форумах, так что когда мы бежим по постам, мы сохраняем дату последнего поста, если пост доступен (потому что он на неудаленных форумах), и когда нарываемся на пост из ПТ, берем дату последнего доступного поста. Таким образом неточность даты времени не превышала пары часов, а основном пары минут.
Проблема 2: Аттачменты недоступны.
У жужеля 1 пост 1 аттачмент, выдергивать их легко, но там тоже стоит залонка
If ПТ then Облом
И режим редактирования здесь не поможет.
Частичное решение я нашел, но его нельзя было использовать массово. Решение – перенос темы в форум Тест, выкачивание аттачей, возврат темы обратно.
Для тем А51 у жужеля оказался еще какой-то запрет. Переносить оттуда их оказалось нельзя. Так что аттачи из А51 недоступны совершенно.
Для тем ПТ с аттачами есть одна проблема. Перенос темы отражается в модераторском логе. Если бы я переносил десятки тысяч тем из ПТ и обратно, весь модерлог был бы засран моими логами переноса и я бы спалился моментально, мне дали бы гусем по пизде.
Поэтому я решил медленно и осторожно переносить только самые важные темы которые я таковыми счел. Тем не менее дмидек меня все равно спалил, но эту акцию я приурочил к недоступности скруля в течении нескольких суток – типа разволновался что скруль совсем всё и решил спасти пару тем для истории.
Возможно в будущем когда / если жужель будет закрывать скруль, можно будет провернуть эту акцию со всеми темами ПТ. А может даже он раздобрится и даст доступ по нормальному на время.
Проблема 3: Удаленные посты недоступны ни на редактирование ни на цитирование (выдается error 500). Удаленные темы доступны без проблем.
Решается аналогично – путем переноса темы в Тест и просмотра в режиме удаленных. Тут уже парсинг другой. На редактирование вызвать нельзя, пришлось делать обратный парсинг HTML удаленных постов.
Точно также переносил лишь темы которые счел важными.
Весь этот сложный процесс в итоге показал скорость скачивания 90-110 постов в минуту. В пересчете на дни это где то 150 дней. Чтобы ускорить этот процесс я сделал два процесса – из пункта А и Б два поезда выехали навстречу друг другу. Один процесс парсил сначала, другой с конца, и в один прекрасный день они встретились.
В общем с перерывами я выкачал посты за 127 дней, и у меня есть почти полноценный архив ПТ и А51.

Эту акцию я назвал "Проект Дикобраз" и даже уже подготовил архим под урлом dikobraz.nosql.ru :)