|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Смежные темы Грядёт нечто ГРОМАДНОЕ в рамках реорганизации форума! Вспомнить всё! Ноутбук Деды! Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно! БД SQL.RU восстановлена ReSQL.ru Восстановлен SQL.RU Цитата [игнорируется] За год до СВО я тоже мутил проект:) У меня кое что есть Выкачивание ПТ Форум ПТ на sql.ru прекратил существование быстро и неожиданно 3 августа 2018 года. Темы и сообщения не были удалены физически, жужель просто в коде поставил заслонку If ПТ then Облом Поэтому доступ отсутствует даже у модераторов. Однако через поиск и избранные темы еще видны, но войти в них нельзя. Казалось бы, шансов подобраться к постам никаких, но нашелся въедливый участник форума, который таки нашел лазейку. При вызове поста на цитирование защиты нет. Об этой лазейке он сообщил мне, я как узнал о ней сразу проверил еще одну догадку – вызов поста на редактирование. Оно тоже оказалось незащищенным, более того любой модератор может вызывать на редактирование любой пост, даже если он не в подотчетном форуме. Это был охуенный шанс. Решением было просто пробежаться по всем постам от 1 до 22000000. Изначально мы не знаем какой теме и какому форуму принадлежит пост, поэтому бежать нужно через все и проверять. Вызвать пост на редактирование и забрать BB код. Это намного лучше и эффективнее чем обратный парсинг HTML. Но у этого решения был ряд ограничений, многие из которых удалось решить, но не все. Проблема 1: При вызове на редактирование не подгружается ни дата поста, ни id топика, ни id форума. Но название топика есть! Узнать id топика. Переходим напрямую к текущему сообщению по id сообщения, получаем отлуп что тема не доступна, но в урл уже фигугирует id топика. Узнать id форума. Добавляем топик по известному id топика в избранное, напротив него в таблице появляется название и id форума. Выпарсиваем его. Узнать дату поста. Тут только приблизительно. Но хорошо то, что кроме ПТ часто постили и на других форумах, так что когда мы бежим по постам, мы сохраняем дату последнего поста, если пост доступен (потому что он на неудаленных форумах), и когда нарываемся на пост из ПТ, берем дату последнего доступного поста. Таким образом неточность даты времени не превышала пары часов, а основном пары минут. Проблема 2: Аттачменты недоступны. У жужеля 1 пост 1 аттачмент, выдергивать их легко, но там тоже стоит залонка If ПТ then Облом И режим редактирования здесь не поможет. Частичное решение я нашел, но его нельзя было использовать массово. Решение – перенос темы в форум Тест, выкачивание аттачей, возврат темы обратно. Для тем А51 у жужеля оказался еще какой-то запрет. Переносить оттуда их оказалось нельзя. Так что аттачи из А51 недоступны совершенно. Для тем ПТ с аттачами есть одна проблема. Перенос темы отражается в модераторском логе. Если бы я переносил десятки тысяч тем из ПТ и обратно, весь модерлог был бы засран моими логами переноса и я бы спалился моментально, мне дали бы гусем по пизде. Поэтому я решил медленно и осторожно переносить только самые важные темы которые я таковыми счел. Тем не менее дмидек меня все равно спалил, но эту акцию я приурочил к недоступности скруля в течении нескольких суток – типа разволновался что скруль совсем всё и решил спасти пару тем для истории. Возможно в будущем когда / если жужель будет закрывать скруль, можно будет провернуть эту акцию со всеми темами ПТ. А может даже он раздобрится и даст доступ по нормальному на время. Проблема 3: Удаленные посты недоступны ни на редактирование ни на цитирование (выдается error 500). Удаленные темы доступны без проблем. Решается аналогично – путем переноса темы в Тест и просмотра в режиме удаленных. Тут уже парсинг другой. На редактирование вызвать нельзя, пришлось делать обратный парсинг HTML удаленных постов. Точно также переносил лишь темы которые счел важными. Весь этот сложный процесс в итоге показал скорость скачивания 90-110 постов в минуту. В пересчете на дни это где то 150 дней. Чтобы ускорить этот процесс я сделал два процесса – из пункта А и Б два поезда выехали навстречу друг другу. Один процесс парсил сначала, другой с конца, и в один прекрасный день они встретились. В общем с перерывами я выкачал посты за 127 дней, и у меня есть почти полноценный архив ПТ и А51. Цитата [игнорируется] Эту акцию я назвал "Проект Дикобраз" и даже уже подготовил архим под урлом dikobraz.nosql.ru :) ... |
|||
:
Изменено: 18.08.2023, 15:53 - Администратор
Нравится:
Гарыныч, Горбатый ёж
Не нравится:
|
|||
14.07.2023, 19:16 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Пользователь назначен модератором темы: basename. ... |
|||
Администратор:
Пользователь назначен модератором темы: basename.
Нравится:
Не нравится:
|
|||
14.07.2023, 19:18 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
императора заебало блядь нахуй бесчеловечно уЁбищное количество закреплЁнных тем! ты блядь губошлЁп пробовал на телефоне открыть просто трЁп и отмотать до первой живой темы сука!?! ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 19:22 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Срать на боль императора ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 19:23 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Смежные темы Грядёт нечто ГРОМАДНОЕ в рамках реорганизации форума! Вспомнить всё! Ноутбук Деды! Цитата [игнорируется] За год до СВО я тоже мутил проект:) У меня кое что есть Выкачивание ПТ Форум ПТ на sql.ru прекратил существование быстро и неожиданно 3 августа 2018 года. Темы и сообщения не были удалены физически, жужель просто в коде поставил заслонку If ПТ then Облом Поэтому доступ отсутствует даже у модераторов. Однако через поиск и избранные темы еще видны, но войти в них нельзя. Казалось бы, шансов подобраться к постам никаких, но нашелся въедливый участник форума, который таки нашел лазейку. При вызове поста на цитирование защиты нет. Об этой лазейке он сообщил мне, я как узнал о ней сразу проверил еще одну догадку – вызов поста на редактирование. Оно тоже оказалось незащищенным, более того любой модератор может вызывать на редактирование любой пост, даже если он не в подотчетном форуме. Это был охуенный шанс. Решением было просто пробежаться по всем постам от 1 до 22000000. Изначально мы не знаем какой теме и какому форуму принадлежит пост, поэтому бежать нужно через все и проверять. Вызвать пост на редактирование и забрать BB код. Это намного лучше и эффективнее чем обратный парсинг HTML. Но у этого решения был ряд ограничений, многие из которых удалось решить, но не все. Проблема 1: При вызове на редактирование не подгружается ни дата поста, ни id топика, ни id форума. Но название топика есть! Узнать id топика. Переходим напрямую к текущему сообщению по id сообщения, получаем отлуп что тема не доступна, но в урл уже фигугирует id топика. Узнать id форума. Добавляем топик по известному id топика в избранное, напротив него в таблице появляется название и id форума. Выпарсиваем его. Узнать дату поста. Тут только приблизительно. Но хорошо то, что кроме ПТ часто постили и на других форумах, так что когда мы бежим по постам, мы сохраняем дату последнего поста, если пост доступен (потому что он на неудаленных форумах), и когда нарываемся на пост из ПТ, берем дату последнего доступного поста. Таким образом неточность даты времени не превышала пары часов, а основном пары минут. Проблема 2: Аттачменты недоступны. У жужеля 1 пост 1 аттачмент, выдергивать их легко, но там тоже стоит залонка If ПТ then Облом И режим редактирования здесь не поможет. Частичное решение я нашел, но его нельзя было использовать массово. Решение – перенос темы в форум Тест, выкачивание аттачей, возврат темы обратно. Для тем А51 у жужеля оказался еще какой-то запрет. Переносить оттуда их оказалось нельзя. Так что аттачи из А51 недоступны совершенно. Для тем ПТ с аттачами есть одна проблема. Перенос темы отражается в модераторском логе. Если бы я переносил десятки тысяч тем из ПТ и обратно, весь модерлог был бы засран моими логами переноса и я бы спалился моментально, мне дали бы гусем по пизде. Поэтому я решил медленно и осторожно переносить только самые важные темы которые я таковыми счел. Тем не менее дмидек меня все равно спалил, но эту акцию я приурочил к недоступности скруля в течении нескольких суток – типа разволновался что скруль совсем всё и решил спасти пару тем для истории. Возможно в будущем когда / если жужель будет закрывать скруль, можно будет провернуть эту акцию со всеми темами ПТ. А может даже он раздобрится и даст доступ по нормальному на время. Проблема 3: Удаленные посты недоступны ни на редактирование ни на цитирование (выдается error 500). Удаленные темы доступны без проблем. Решается аналогично – путем переноса темы в Тест и просмотра в режиме удаленных. Тут уже парсинг другой. На редактирование вызвать нельзя, пришлось делать обратный парсинг HTML удаленных постов. Точно также переносил лишь темы которые счел важными. Весь этот сложный процесс в итоге показал скорость скачивания 90-110 постов в минуту. В пересчете на дни это где то 150 дней. Чтобы ускорить этот процесс я сделал два процесса – из пункта А и Б два поезда выехали навстречу друг другу. Один процесс парсил сначала, другой с конца, и в один прекрасный день они встретились. В общем с перерывами я выкачал посты за 127 дней, и у меня есть почти полноценный архив ПТ и А51. Цитата [игнорируется] Эту акцию я назвал "Проект Дикобраз" и даже уже подготовил архим под урлом dikobraz.nosql.ru :) ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 19:30 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Я тока не понял какова старый зажал все это и не поднял в старые добрые доковидные времена ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 19:33 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
надо тему в арею перенести, не? ( пока не устаканица всё) ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 19:35 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Я тока не понял какова старый зажал все это и не поднял в старые добрые доковидные времена Хотите восстановления - скидывайтесь на 1-2Тб SSD которыйв слот NVME втыкается. Потом уже готовое буду увеличивать ресурсы и выкладывать в реал. Пока нет места даже для манипуляций. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 19:37 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Цитата [игнорируется] Мердж будет очень сложной задачей. Есть две проблемы: 1) сориуются сообщения по id а не по дате, это связано с физическим расположением данных и быстродействием, сортировка и физическое расположение по id самое оптимальное потому что id первичный ключ. Но это усложняет возможное слияние нескольких форумов. Пока старые посты живут в своих исходных темах и в исходные темы не переновзятся посты из других тем - нормально будет. Иначе нужно будет проводить переиндексацию постов. 2) Проблема уже есть в любом случае - id постов пересекаются - так что переиндексация постов нужна в любом случае. 3) Многие посты содержат ссылки на другие посты. При переиндексации - если хочешь чтобы всё было чётенько, нужно будет переправить эти ссылки везде. Т.е. подход такой 1) добиваемся состояния что есть две базы - скруль форум базефорум. Все проадейчено, базы на одинаковом уровне по структуре итп. 2) Создаем 3ю чистую базу. Заливаетм туда список форумов и авторов. Сохраняем в отдельную спец таблицу мэппинг - old author id <=> new author id 3) Заливаем туда остортирвоанные темы по дате создания с обоих форумов. Сохраняем в отдельную спец таблицу мэппинг - old topic id <=> new topic id 4) Заливаем туда остортирвоанные посты по дате создания с обоих форумов. Сохраняем в отдельную спец таблицу мэппинг - old post id <=> new post id 5) Парсим посты и меняем old id на new id dj всех ссылках. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 19:39 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|
---|---|
#18+
Здесь просьюа флуд не разводить, срите в сопутствующих темах ) Здесь большей частью по делу! ... |
|
:
|
|
14.07.2023, 19:40 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|
---|---|
#18+
Деда вЕлик! ... |
|
:
|
|
14.07.2023, 19:40 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
#481252
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
|
||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
скидывайтесь на 1-2Тб SSD которыйв слот NVME втыкается ... |
||||||||||||||||
:
|
||||||||||||||||
14.07.2023, 19:58 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
оно тормозное,когда заканчиваеца slc кэш превращается во флешку 30мб/c на запись, хз может на форуме не так заметно буит ... |
|||
деревья умирают стоя
:
Изменено: 14.07.2023, 20:02 - Буся
Нравится:
Не нравится:
|
|||
14.07.2023, 20:01 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
оно тормозное,когда заканчиваеца slc кэш превращается во флешку 30мб/c на запись) ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 20:03 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
оно тормозное,когда заканчиваеца slc кэш превращается во флешку 30мб/c на запись) ... |
|||
деревья умирают стоя
:
Изменено: 14.07.2023, 20:04 - Буся
Нравится:
Не нравится:
|
|||
14.07.2023, 20:04 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
это если сразу по 700 гигов заливать, не думаю, что такое потребуется ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 20:06 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
обычно в дешевых slc кэш это 5-10% от обьема накопителя то есть после 150-200 г уже,расплата за дешевизну ... |
|||
деревья умирают стоя
:
Нравится:
Не нравится:
|
|||
14.07.2023, 20:07 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Погоди заказывать :) надо примерно подсчитать. Текущая БД старого скуля без проффорумов - примерно 90 гигов на диске. Вложений на 200 гигов. Уже итоговое с учетом нынешнего форума под полтерабайта. Локально на компе в худшем случае будем работать только с БД, вложения я уже на реальный буду заливать, если места не будет. Плюс, если кролик сможет выкачать все с муркода следует ориентироваться примерно на терабайт для итоговой конфы. Но это до хера вложения финансовые. Поэтому, наверное, следует ограничиться работой только с БД. Минимум понадобятся 3-4 копии. В конечном итоге надо будет что-то с хостингом решать. Скорее всего арендовать сервак. ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 20:22 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
оно тормозное,когда заканчиваеца slc кэш превращается во флешку 30мб/c на запись, хз может на форуме не так заметно буит ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 20:25 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|
---|---|
#18+
оно тормозное,когда заканчиваеца slc кэш превращается во флешку 30мб/c на запись, хз может на форуме не так заметно буит ... |
|
:
|
|
14.07.2023, 20:28 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
оно тормозное,когда заканчиваеца slc кэш превращается во флешку 30мб/c на запись, хз может на форуме не так заметно буит ... |
|||
деревья умирают стоя
:
Нравится:
Не нравится:
|
|||
14.07.2023, 20:30 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|
---|---|
#18+
Деда вЕлик! ... |
|
:
|
|
14.07.2023, 20:34 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|
---|---|
#18+
Из написанного в первом посте я понял, что дмидек как был тупым говном, так он им и остался ... |
|
:
|
|
14.07.2023, 20:47 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Из написанного в первом посте я понял, что дмидек как был тупым говном, так он им и остался ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 20:49 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
|
|||
---|---|---|---|
#18+
Он мешал процессу ... |
|||
:
Нравится:
Не нравится:
|
|||
14.07.2023, 20:51 |
|
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
#481325
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
|
||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
Из написанного в первом посте я понял, что дмидек как был тупым говном, так он им и остался ... |
||||||||||||||||
:
|
||||||||||||||||
14.07.2023, 20:51 |
|
|
start [/forum/topic.php?fid=3&msg=481200&tid=11037]: |
0ms |
get settings: |
24ms |
get forum list: |
14ms |
check forum access: |
4ms |
check topic access: |
4ms |
track hit: |
41ms |
get topic data: |
13ms |
get forum data: |
3ms |
get page messages: |
1837ms |
get tp. blocked users: |
2ms |
others: | 15ms |
total: | 1957ms |
0 / 0 |