|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Смежные темы Грядёт нечто ГРОМАДНОЕ в рамках реорганизации форума! Вспомнить всё! Ноутбук Деды! Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно! БД SQL.RU восстановлена ReSQL.ru Восстановлен SQL.RU Цитата [игнорируется] За год до СВО я тоже мутил проект:) У меня кое что есть Выкачивание ПТ Форум ПТ на sql.ru прекратил существование быстро и неожиданно 3 августа 2018 года. Темы и сообщения не были удалены физически, жужель просто в коде поставил заслонку If ПТ then Облом Поэтому доступ отсутствует даже у модераторов. Однако через поиск и избранные темы еще видны, но войти в них нельзя. Казалось бы, шансов подобраться к постам никаких, но нашелся въедливый участник форума, который таки нашел лазейку. При вызове поста на цитирование защиты нет. Об этой лазейке он сообщил мне, я как узнал о ней сразу проверил еще одну догадку – вызов поста на редактирование. Оно тоже оказалось незащищенным, более того любой модератор может вызывать на редактирование любой пост, даже если он не в подотчетном форуме. Это был охуенный шанс. Решением было просто пробежаться по всем постам от 1 до 22000000. Изначально мы не знаем какой теме и какому форуму принадлежит пост, поэтому бежать нужно через все и проверять. Вызвать пост на редактирование и забрать BB код. Это намного лучше и эффективнее чем обратный парсинг HTML. Но у этого решения был ряд ограничений, многие из которых удалось решить, но не все. Проблема 1: При вызове на редактирование не подгружается ни дата поста, ни id топика, ни id форума. Но название топика есть! Узнать id топика. Переходим напрямую к текущему сообщению по id сообщения, получаем отлуп что тема не доступна, но в урл уже фигугирует id топика. Узнать id форума. Добавляем топик по известному id топика в избранное, напротив него в таблице появляется название и id форума. Выпарсиваем его. Узнать дату поста. Тут только приблизительно. Но хорошо то, что кроме ПТ часто постили и на других форумах, так что когда мы бежим по постам, мы сохраняем дату последнего поста, если пост доступен (потому что он на неудаленных форумах), и когда нарываемся на пост из ПТ, берем дату последнего доступного поста. Таким образом неточность даты времени не превышала пары часов, а основном пары минут. Проблема 2: Аттачменты недоступны. У жужеля 1 пост 1 аттачмент, выдергивать их легко, но там тоже стоит залонка If ПТ then Облом И режим редактирования здесь не поможет. Частичное решение я нашел, но его нельзя было использовать массово. Решение – перенос темы в форум Тест, выкачивание аттачей, возврат темы обратно. Для тем А51 у жужеля оказался еще какой-то запрет. Переносить оттуда их оказалось нельзя. Так что аттачи из А51 недоступны совершенно. Для тем ПТ с аттачами есть одна проблема. Перенос темы отражается в модераторском логе. Если бы я переносил десятки тысяч тем из ПТ и обратно, весь модерлог был бы засран моими логами переноса и я бы спалился моментально, мне дали бы гусем по пизде. Поэтому я решил медленно и осторожно переносить только самые важные темы которые я таковыми счел. Тем не менее дмидек меня все равно спалил, но эту акцию я приурочил к недоступности скруля в течении нескольких суток – типа разволновался что скруль совсем всё и решил спасти пару тем для истории. Возможно в будущем когда / если жужель будет закрывать скруль, можно будет провернуть эту акцию со всеми темами ПТ. А может даже он раздобрится и даст доступ по нормальному на время. Проблема 3: Удаленные посты недоступны ни на редактирование ни на цитирование (выдается error 500). Удаленные темы доступны без проблем. Решается аналогично – путем переноса темы в Тест и просмотра в режиме удаленных. Тут уже парсинг другой. На редактирование вызвать нельзя, пришлось делать обратный парсинг HTML удаленных постов. Точно также переносил лишь темы которые счел важными. Весь этот сложный процесс в итоге показал скорость скачивания 90-110 постов в минуту. В пересчете на дни это где то 150 дней. Чтобы ускорить этот процесс я сделал два процесса – из пункта А и Б два поезда выехали навстречу друг другу. Один процесс парсил сначала, другой с конца, и в один прекрасный день они встретились. В общем с перерывами я выкачал посты за 127 дней, и у меня есть почти полноценный архив ПТ и А51. Цитата [игнорируется] Эту акцию я назвал "Проект Дикобраз" и даже уже подготовил архим под урлом dikobraz.nosql.ru :) ... |
|||
:
Изменено: 18.08.2023, 15:53 - Администратор
Нравится:
Гарыныч, Горбатый ёж
Не нравится:
|
|||
14.07.2023, 19:16 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Я тока не понял какова старый зажал все это и не поднял в старые добрые доковидные времена Хотите восстановления - скидывайтесь на 1-2Тб SSD которыйв слот NVME втыкается. Потом уже готовое буду увеличивать ресурсы и выкладывать в реал. Пока нет места даже для манипуляций. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 19:37 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Цитата [игнорируется] Мердж будет очень сложной задачей. Есть две проблемы: 1) сориуются сообщения по id а не по дате, это связано с физическим расположением данных и быстродействием, сортировка и физическое расположение по id самое оптимальное потому что id первичный ключ. Но это усложняет возможное слияние нескольких форумов. Пока старые посты живут в своих исходных темах и в исходные темы не переновзятся посты из других тем - нормально будет. Иначе нужно будет проводить переиндексацию постов. 2) Проблема уже есть в любом случае - id постов пересекаются - так что переиндексация постов нужна в любом случае. 3) Многие посты содержат ссылки на другие посты. При переиндексации - если хочешь чтобы всё было чётенько, нужно будет переправить эти ссылки везде. Т.е. подход такой 1) добиваемся состояния что есть две базы - скруль форум базефорум. Все проадейчено, базы на одинаковом уровне по структуре итп. 2) Создаем 3ю чистую базу. Заливаетм туда список форумов и авторов. Сохраняем в отдельную спец таблицу мэппинг - old author id <=> new author id 3) Заливаем туда остортирвоанные темы по дате создания с обоих форумов. Сохраняем в отдельную спец таблицу мэппинг - old topic id <=> new topic id 4) Заливаем туда остортирвоанные посты по дате создания с обоих форумов. Сохраняем в отдельную спец таблицу мэппинг - old post id <=> new post id 5) Парсим посты и меняем old id на new id dj всех ссылках. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 19:39 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|
---|---|
#18+
Здесь просьюа флуд не разводить, срите в сопутствующих темах ) Здесь большей частью по делу! ... |
|
:
|
|
14.07.2023, 19:40 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Погоди заказывать :) надо примерно подсчитать. Текущая БД старого скуля без проффорумов - примерно 90 гигов на диске. Вложений на 200 гигов. Уже итоговое с учетом нынешнего форума под полтерабайта. Локально на компе в худшем случае будем работать только с БД, вложения я уже на реальный буду заливать, если места не будет. Плюс, если кролик сможет выкачать все с муркода следует ориентироваться примерно на терабайт для итоговой конфы. Но это до хера вложения финансовые. Поэтому, наверное, следует ограничиться работой только с БД. Минимум понадобятся 3-4 копии. В конечном итоге надо будет что-то с хостингом решать. Скорее всего арендовать сервак. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 20:22 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
оно тормозное,когда заканчиваеца slc кэш превращается во флешку 30мб/c на запись, хз может на форуме не так заметно буит ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 20:25 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|
---|---|
#18+
Деда вЕлик! ... |
|
:
|
|
14.07.2023, 20:34 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Он мешал процессу ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 20:51 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
правильно, Пухлый - тебе нахуй, в телеграмм!, там и сиди, пидарок! ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 20:55 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Вложений на 200 гигов. Уже итоговое с учетом нынешнего форума под полтерабайта. Хуже обстоят дела с хостингом. Если Кролег всосёт проф. скуль, там явно тером не ограничится дело. Но это уже по обстоятельствам. Сейчас надо иметь, прежде всего, четкий алгоритм объединения БД. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 21:07 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Вложений на 200 гигов. Уже итоговое с учетом нынешнего форума под полтерабайта. Хуже обстоят дела с хостингом. Если Кролег всосёт проф. скуль, там явно тером не ограничится дело. Но это уже по обстоятельствам. Сейчас надо иметь, прежде всего, четкий алгоритм объединения БД. Ну я разные варианты накидаю в любом случае. Поглядим. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 21:15 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
... Хуже обстоят дела с хостингом. Если Кролег всосёт проф. скуль, там явно тером не ограничится дело. Но это уже по обстоятельствам. Сейчас надо иметь, прежде всего, четкий алгоритм объединения БД. Ну я разные варианты накидаю в любом случае. Поглядим. Мне кажется, так будет проще - на живых базах что-то мутить ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 21:37 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Деда все пытается почившие трупы оживлять, туда же франкенштейн, сумрачный немецкий гений... ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 22:49 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Пиздец охуенчик. Один вопрос: SQL.RU же вроде выебался. От слова полностью. То есть на этом домене не открывается ни пизды вообще. Ни байта. Откуда фашист умудрился качать-то всё это и когда? Когда SQL.RU ещё был жив? Насчёт "как это заинтегрировать в ПТ". Если бы фашист был умный, у него бы можно было создавать топики задним числом, пускай и с растущими ID. А хотя почему нет? Просто насоздавать этих топиков, а в базе дату им подкрутить назад. MySQL не еблан, индексы перестроит как надо (если они вообще по дате там у фашеля есть). Так-то затея интересная, хотя и ненужно нахуй. Мы и на этом-то форуме, господули, не читаем дальше 2 страницы, кто же полезет старые архивы ПТ-то читать. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2023, 04:10 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Так а откуда фашист сайт качал, если sql.ru давно физически лёг? ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2023, 14:06 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|
---|---|
#18+
Думаю, верным будет следующее: - труд Деды и Кролика будет восстановлен в sqlru.itwrks.org - форум nosql.itwrks.org будет отдельным - оба форума будут доступны для регистрации, чтения и записи ... |
|
:
|
|
15.07.2023, 14:52 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
да я серьёзно. Нужно понять, что со всем этим добром делать и как его структуризировать. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2023, 14:59 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
#481826
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
|
||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
Цитата [игнорируется] но нашелся въедливый участник форума, который таки нашел лазейку ... |
||||||||||||||||
:
Нравится:
Не нравится:
|
||||||||||||||||
15.07.2023, 15:42 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Думаю, верным будет следующее: - труд Деды и Кролика будет восстановлен в sqlru.itwrks.org - форум nosql.itwrks.org будет отдельным - оба форума будут доступны для регистрации, чтения и записи ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2023, 16:28 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|
---|---|
#18+
Чо, когда на яндекс-диск кинут архивчик. ... |
|
:
|
|
15.07.2023, 17:15 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
... Хуже обстоят дела с хостингом. Если Кролег всосёт проф. скуль, там явно тером не ограничится дело. Но это уже по обстоятельствам. Сейчас надо иметь, прежде всего, четкий алгоритм объединения БД. Ну я разные варианты накидаю в любом случае. Поглядим. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2023, 17:16 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
... Хуже обстоят дела с хостингом. Если Кролег всосёт проф. скуль, там явно тером не ограничится дело. Но это уже по обстоятельствам. Сейчас надо иметь, прежде всего, четкий алгоритм объединения БД. Ну я разные варианты накидаю в любом случае. Поглядим. ... |
|||
:
Нравится:
Не нравится:
|
|||
15.07.2023, 17:17 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Кстати, по информации от Деды, это был не Пашэ. А человек с ником Енот. Есть он здесь или нет - я не знаю ... |
|||
:
Нравится:
Не нравится:
|
|||
16.07.2023, 17:24 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
#490051
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
Ссылка на вложение 2:
Ссылка на вложение 3:
|
||||||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
Сегодня продолжил мучения. Компетенций не хватает, как и места. Понадобилось дропнуть одну колонку, ненужную, для высвобождения места. Дык вот фиг там. Места, чтобы дропнуть - тоже не хватает. То есть, если воспользоваться простым методом alter table drop column - оно начинает эту большую таблицу копировать целиком и попутно ещё дописывает что-то там в свои служебные файлы. Вроде бы и места по размеру таблицы должно хватать, но нет. В результате создал таблицу клон и стал её заполнять данными из оригинала без одной колонки. Дык целиком тоже не получилось, памяти не хватает. Пришлось интервалами, по миллиону и удалять бинарные логи Короче, надо будет диск покупать на ноутбук и все переустанавливать. Увы ( А ведь ещё не дошёл до данны Кролика! но уже попробовал их. P.S. КТО-НИБУДЬ МОЖЕТ ОБЪЯСНИТЬ, ЗАЧЕМ МНЕ ВСЁ ЭТО НУЖНО? ... |
||||||||||||||||||||||
:
Нравится:
Не нравится:
|
||||||||||||||||||||||
26.07.2023, 21:04 |
|
Вопросы по форуму / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Сегодня продолжил мучения. Компетенций не хватает, как и места. Понадобилось дропнуть одну колонку, ненужную, для высвобождения места. Дык вот фиг там. Места, чтобы дропнуть - тоже не хватает. То есть, если воспользоваться простым методом alter table drop column - оно начинает эту большую таблицу копировать целиком и попутно ещё дописывает что-то там в свои служебные файлы. Вроде бы и места по размеру таблицы должно хватать, но нет. В результате создал таблицу клон и стал её заполнять данными из оригинала без одной колонки. Дык целиком тоже не получилось, памяти не хватает. Пришлось интервалами, по миллиону и удалять бинарные логи Короче, надо будет диск покупать на ноутбук и все переустанавливать. Увы ( А ведь ещё не дошёл до данны Кролика! но уже попробовал их. P.S. КТО-НИБУДЬ МОЖЕТ ОБЪЯСНИТЬ, ЗАЧЕМ МНЕ ВСЁ ЭТО НУЖНО? ... |
|||
:
Нравится:
Не нравится:
|
|||
26.07.2023, 22:33 |
|
|
Start [/forum/search.php?do_search=1&tid=11037&author_mode=wrote_post&author=basename&start_from=481137]: |
0ms |
get settings: |
0ms |
get forum list: |
5ms |
searching: |
21ms |
get settings: |
1ms |
get forum list: |
4ms |
get topic data: |
3ms |
check forum access: |
1ms |
check topic access: |
1ms |
get forum data: |
0ms |
get found posts: |
45ms |
track hit: |
20ms |
get online users: |
12ms |
check new: |
325ms |
others: | 484ms |
total: | 922ms |
0 / 0 |