powered by simpleCommunicator - 2.0.17     © 2024 Programmizd 02
Map
Форумы / Вопросы по форуму [закрыт для гостей] / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
25 сообщений из 281, страница 3 из 12
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!  
    #481133
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Смежные темы

Грядёт нечто ГРОМАДНОЕ в рамках реорганизации форума! Вспомнить всё!
Ноутбук Деды!
Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
БД SQL.RU восстановлена
ReSQL.ru
Восстановлен SQL.RU
Цитата 
[игнорируется]
За год до СВО я тоже мутил проект:) У меня кое что есть

Выкачивание ПТ

Форум ПТ на sql.ru прекратил существование быстро и неожиданно 3 августа 2018 года. Темы и сообщения не были удалены физически, жужель просто в коде поставил заслонку
If ПТ then Облом
Поэтому доступ отсутствует даже у модераторов. Однако через поиск и избранные темы еще видны, но войти в них нельзя.
Казалось бы, шансов подобраться к постам никаких, но нашелся въедливый участник форума, который таки нашел лазейку. При вызове поста на цитирование защиты нет. Об этой лазейке он сообщил мне, я как узнал о ней сразу проверил еще одну догадку – вызов поста на редактирование. Оно тоже оказалось незащищенным, более того любой модератор может вызывать на редактирование любой пост, даже если он не в подотчетном форуме.
Это был охуенный шанс. Решением было просто пробежаться по всем постам от 1 до 22000000. Изначально мы не знаем какой теме и какому форуму принадлежит пост, поэтому бежать нужно через все и проверять.
Вызвать пост на редактирование и забрать BB код. Это намного лучше и эффективнее чем обратный парсинг HTML.
Но у этого решения был ряд ограничений, многие из которых удалось решить, но не все.
Проблема 1: При вызове на редактирование не подгружается ни дата поста, ни id топика, ни id форума. Но название топика есть!
Узнать id топика.
Переходим напрямую к текущему сообщению по id сообщения, получаем отлуп что тема не доступна, но в урл уже фигугирует id топика.
Узнать id форума.
Добавляем топик по известному id топика в избранное, напротив него в таблице появляется название и id форума. Выпарсиваем его.

Узнать дату поста.
Тут только приблизительно. Но хорошо то, что кроме ПТ часто постили и на других форумах, так что когда мы бежим по постам, мы сохраняем дату последнего поста, если пост доступен (потому что он на неудаленных форумах), и когда нарываемся на пост из ПТ, берем дату последнего доступного поста. Таким образом неточность даты времени не превышала пары часов, а основном пары минут.
Проблема 2: Аттачменты недоступны.
У жужеля 1 пост 1 аттачмент, выдергивать их легко, но там тоже стоит залонка
If ПТ then Облом
И режим редактирования здесь не поможет.
Частичное решение я нашел, но его нельзя было использовать массово. Решение – перенос темы в форум Тест, выкачивание аттачей, возврат темы обратно.
Для тем А51 у жужеля оказался еще какой-то запрет. Переносить оттуда их оказалось нельзя. Так что аттачи из А51 недоступны совершенно.
Для тем ПТ с аттачами есть одна проблема. Перенос темы отражается в модераторском логе. Если бы я переносил десятки тысяч тем из ПТ и обратно, весь модерлог был бы засран моими логами переноса и я бы спалился моментально, мне дали бы гусем по пизде.
Поэтому я решил медленно и осторожно переносить только самые важные темы которые я таковыми счел. Тем не менее дмидек меня все равно спалил, но эту акцию я приурочил к недоступности скруля в течении нескольких суток – типа разволновался что скруль совсем всё и решил спасти пару тем для истории.
Возможно в будущем когда / если жужель будет закрывать скруль, можно будет провернуть эту акцию со всеми темами ПТ. А может даже он раздобрится и даст доступ по нормальному на время.
Проблема 3: Удаленные посты недоступны ни на редактирование ни на цитирование (выдается error 500). Удаленные темы доступны без проблем.
Решается аналогично – путем переноса темы в Тест и просмотра в режиме удаленных. Тут уже парсинг другой. На редактирование вызвать нельзя, пришлось делать обратный парсинг HTML удаленных постов.
Точно также переносил лишь темы которые счел важными.
Весь этот сложный процесс в итоге показал скорость скачивания 90-110 постов в минуту. В пересчете на дни это где то 150 дней. Чтобы ускорить этот процесс я сделал два процесса – из пункта А и Б два поезда выехали навстречу друг другу. Один процесс парсил сначала, другой с конца, и в один прекрасный день они встретились.
В общем с перерывами я выкачал посты за 127 дней, и у меня есть почти полноценный архив ПТ и А51.
Цитата 
[игнорируется]
Эту акцию я назвал "Проект Дикобраз" и даже уже подготовил архим под урлом dikobraz.nosql.ru :)
...
Изменено: 18.08.2023, 15:53 - Администратор
Рейтинг: 2 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #481886
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Просто Трёп  15.07.2023, 16:51
[игнорируется]
basename  14.07.2023, 21:15
[игнорируется]
defecator  14.07.2023, 21:11
[игнорируется]
basename  14.07.2023, 21:07
[игнорируется]
PaNik  14.07.2023, 20:57
[игнорируется]
...
Я составлю план работ. Согласую с дедом. Увы я нубас в этой предметной области. Примерно прикину ёмкость. Озвучу. Если кто поможет - будет хорошо. Нет ну и по фиг. Боевая задача все-равно будет выполнена.

Хуже обстоят дела с хостингом. Если Кролег всосёт проф. скуль, там явно тером не ограничится дело.

Но это уже по обстоятельствам. Сейчас надо иметь, прежде всего, четкий алгоритм объединения БД.
не надо объединять, сделай на домене третьего уровня отдельный инстанс
Почему не надо? Хотелось бы единое цельное иметь. Несколько сложнее обслуживать.

Ну я разные варианты накидаю в любом случае. Поглядим.
Так у нас и предыдущий ПТ не слит в единое целое. А ты за джуджевский хочешь взяться?
сливать вместе в любом случае придётся. Но я выше написал, 2 форума будут. Этот и тот.
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #481887
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Просто Трёп  15.07.2023, 16:51
[игнорируется]
basename  14.07.2023, 21:15
[игнорируется]
defecator  14.07.2023, 21:11
[игнорируется]
basename  14.07.2023, 21:07
[игнорируется]
PaNik  14.07.2023, 20:57
[игнорируется]
...
Я составлю план работ. Согласую с дедом. Увы я нубас в этой предметной области. Примерно прикину ёмкость. Озвучу. Если кто поможет - будет хорошо. Нет ну и по фиг. Боевая задача все-равно будет выполнена.

Хуже обстоят дела с хостингом. Если Кролег всосёт проф. скуль, там явно тером не ограничится дело.

Но это уже по обстоятельствам. Сейчас надо иметь, прежде всего, четкий алгоритм объединения БД.
не надо объединять, сделай на домене третьего уровня отдельный инстанс
Почему не надо? Хотелось бы единое цельное иметь. Несколько сложнее обслуживать.

Ну я разные варианты накидаю в любом случае. Поглядим.
Так у нас и предыдущий ПТ не слит в единое целое. А ты за джуджевский хочешь взяться?
со слитием того, думаю, дед бы мне помог, но не задавался такой целью. Там вложений нет. Вернее они есть, но там приватная инфа, дед мне их не отдавал.
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #481905
eNose
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[не активирован]
Чатик Элиты -- nanochat.ru  15.07.2023, 14:01
[игнорируется]
Так а откуда фашист сайт качал, если sql.ru давно физически лёг?
Он его качал когда пт прикрыли.
Остальные форумы работали.
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #481906
eNose
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[не активирован]
Но вообще жужель пидор конченый.
Сделал бы ридонли и всё.
Нахуя было глушить сервак?
...
Рейтинг: 1 / 0
Нравится: Гарыныч
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #481916
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
eNose  15.07.2023, 18:03
[игнорируется]
Но вообще жужель пидор конченый.
Сделал бы ридонли и всё.
Нахуя было глушить сервак?
санкцию ввёл, мана
...
дед-пердед
Рейтинг: 1 / 0
Нравится: PaNik
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #482291
Мудило
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[не активирован]
Проект Пидораз
...
Рейтинг: 2 / 0
Нравится: битый, Гарыныч
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #482451
basename
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
cahrim  15.07.2023, 15:43
[игнорируется]
basename  15.07.2023, 15:42
[игнорируется]
basename  14.07.2023, 19:16
[игнорируется]
Цитата 
[игнорируется]
но нашелся въедливый участник форума, который таки нашел лазейку
pasted_image.png
тонко )))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))))
Кстати, по информации от Деды, это был не Пашэ. А человек с ником Енот. Есть он здесь или нет - я не знаю
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #482458
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
basename  14.07.2023, 19:16
[игнорируется]
Смежные темы

Грядёт нечто ГРОМАДНОЕ в рамках реорганизации форума! Вспомнить всё!
Ноутбук Деды!
Цитата 
[игнорируется]
За год до СВО я тоже мутил проект:) У меня кое что есть

Выкачивание ПТ

Форум ПТ на sql.ru прекратил существование быстро и неожиданно 3 августа 2018 года. Темы и сообщения не были удалены физически, жужель просто в коде поставил заслонку
If ПТ then Облом
Поэтому доступ отсутствует даже у модераторов. Однако через поиск и избранные темы еще видны, но войти в них нельзя.
Казалось бы, шансов подобраться к постам никаких, но нашелся въедливый участник форума, который таки нашел лазейку. При вызове поста на цитирование защиты нет. Об этой лазейке он сообщил мне, я как узнал о ней сразу проверил еще одну догадку – вызов поста на редактирование. Оно тоже оказалось незащищенным, более того любой модератор может вызывать на редактирование любой пост, даже если он не в подотчетном форуме.
Это был охуенный шанс. Решением было просто пробежаться по всем постам от 1 до 22000000. Изначально мы не знаем какой теме и какому форуму принадлежит пост, поэтому бежать нужно через все и проверять.
Вызвать пост на редактирование и забрать BB код. Это намного лучше и эффективнее чем обратный парсинг HTML.
Но у этого решения был ряд ограничений, многие из которых удалось решить, но не все.
Проблема 1: При вызове на редактирование не подгружается ни дата поста, ни id топика, ни id форума. Но название топика есть!
Узнать id топика.
Переходим напрямую к текущему сообщению по id сообщения, получаем отлуп что тема не доступна, но в урл уже фигугирует id топика.
Узнать id форума.
Добавляем топик по известному id топика в избранное, напротив него в таблице появляется название и id форума. Выпарсиваем его.

Узнать дату поста.
Тут только приблизительно. Но хорошо то, что кроме ПТ часто постили и на других форумах, так что когда мы бежим по постам, мы сохраняем дату последнего поста, если пост доступен (потому что он на неудаленных форумах), и когда нарываемся на пост из ПТ, берем дату последнего доступного поста. Таким образом неточность даты времени не превышала пары часов, а основном пары минут.
Проблема 2: Аттачменты недоступны.
У жужеля 1 пост 1 аттачмент, выдергивать их легко, но там тоже стоит залонка
If ПТ then Облом
И режим редактирования здесь не поможет.
Частичное решение я нашел, но его нельзя было использовать массово. Решение – перенос темы в форум Тест, выкачивание аттачей, возврат темы обратно.
Для тем А51 у жужеля оказался еще какой-то запрет. Переносить оттуда их оказалось нельзя. Так что аттачи из А51 недоступны совершенно.
Для тем ПТ с аттачами есть одна проблема. Перенос темы отражается в модераторском логе. Если бы я переносил десятки тысяч тем из ПТ и обратно, весь модерлог был бы засран моими логами переноса и я бы спалился моментально, мне дали бы гусем по пизде.
Поэтому я решил медленно и осторожно переносить только самые важные темы которые я таковыми счел. Тем не менее дмидек меня все равно спалил, но эту акцию я приурочил к недоступности скруля в течении нескольких суток – типа разволновался что скруль совсем всё и решил спасти пару тем для истории.
Возможно в будущем когда / если жужель будет закрывать скруль, можно будет провернуть эту акцию со всеми темами ПТ. А может даже он раздобрится и даст доступ по нормальному на время.
Проблема 3: Удаленные посты недоступны ни на редактирование ни на цитирование (выдается error 500). Удаленные темы доступны без проблем.
Решается аналогично – путем переноса темы в Тест и просмотра в режиме удаленных. Тут уже парсинг другой. На редактирование вызвать нельзя, пришлось делать обратный парсинг HTML удаленных постов.
Точно также переносил лишь темы которые счел важными.
Весь этот сложный процесс в итоге показал скорость скачивания 90-110 постов в минуту. В пересчете на дни это где то 150 дней. Чтобы ускорить этот процесс я сделал два процесса – из пункта А и Б два поезда выехали навстречу друг другу. Один процесс парсил сначала, другой с конца, и в один прекрасный день они встретились.
В общем с перерывами я выкачал посты за 127 дней, и у меня есть почти полноценный архив ПТ и А51.
Цитата 
[игнорируется]
Эту акцию я назвал "Проект Дикобраз" и даже уже подготовил архим под урлом dikobraz.nosql.ru :)
супер!
...
дед-пердед
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #482460
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
basename  16.07.2023, 17:24
[игнорируется]
cahrim [игнорируется] 

Кстати, по информации от Деды, это был не Пашэ. А человек с ником Енот. Есть он здесь или нет - я не знаю
и тут пидаров хватает [:sadwink]
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #482461
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
basename  14.07.2023, 20:51
[игнорируется]
Гарыныч  14.07.2023, 20:49
[игнорируется]
defecator  14.07.2023, 20:47
[игнорируется]
Из написанного в первом посте я понял, что дмидек как был тупым говном, так он им и остался
абаснуй, пухлый!
Он мешал процессу
Дмидек - просто слишком честный хохол.... :))), таких уже не делают в там
...
дед-пердед
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #482471
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Мудило  16.07.2023, 11:11
[игнорируется]
Проект Жужиль - Пидораз
(поправил)
...
дед-пердед
Рейтинг: 1 / 0
Нравится: Мудило
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #482523
Мудило
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[не активирован]
Чатик Элиты -- nanochat.ru  16.07.2023, 18:31
[игнорируется]
Базя, проведу онлайн-урок по git за 500 руб. Всё расскажу пиздато, будешь эксперт 80 лвл.
а как коммит откатить, расскажешь , сука ?!
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #482646
Мудило
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[не активирован]
Чатик Элиты -- nanochat.ru  16.07.2023, 19:31
[игнорируется]
Мудило  16.07.2023, 18:53
[игнорируется]
Чатик Элиты -- nanochat.ru  16.07.2023, 18:31
[игнорируется]
Базя, проведу онлайн-урок по git за 500 руб. Всё расскажу пиздато, будешь эксперт 80 лвл.
а как коммит откатить, расскажешь , сука ?!
И это тоже ебать раскажу, падла буду.
великая тайна, сиё есть
Великим джыдаем тот будет, постиг кто..
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #484809
sergey11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
basename  14.07.2023, 19:16
[игнорируется]
Смежные темы

Грядёт нечто ГРОМАДНОЕ в рамках реорганизации форума! Вспомнить всё!
Ноутбук Деды!
Цитата 
[игнорируется]
За год до СВО я тоже мутил проект:) У меня кое что есть

Выкачивание ПТ

Форум ПТ на sql.ru прекратил существование быстро и неожиданно 3 августа 2018 года. Темы и сообщения не были удалены физически, жужель просто в коде поставил заслонку
If ПТ then Облом
Поэтому доступ отсутствует даже у модераторов. Однако через поиск и избранные темы еще видны, но войти в них нельзя.
Казалось бы, шансов подобраться к постам никаких, но нашелся въедливый участник форума, который таки нашел лазейку. При вызове поста на цитирование защиты нет. Об этой лазейке он сообщил мне, я как узнал о ней сразу проверил еще одну догадку – вызов поста на редактирование. Оно тоже оказалось незащищенным, более того любой модератор может вызывать на редактирование любой пост, даже если он не в подотчетном форуме.
Это был охуенный шанс. Решением было просто пробежаться по всем постам от 1 до 22000000. Изначально мы не знаем какой теме и какому форуму принадлежит пост, поэтому бежать нужно через все и проверять.
Вызвать пост на редактирование и забрать BB код. Это намного лучше и эффективнее чем обратный парсинг HTML.
Но у этого решения был ряд ограничений, многие из которых удалось решить, но не все.
Проблема 1: При вызове на редактирование не подгружается ни дата поста, ни id топика, ни id форума. Но название топика есть!
Узнать id топика.
Переходим напрямую к текущему сообщению по id сообщения, получаем отлуп что тема не доступна, но в урл уже фигугирует id топика.
Узнать id форума.
Добавляем топик по известному id топика в избранное, напротив него в таблице появляется название и id форума. Выпарсиваем его.

Узнать дату поста.
Тут только приблизительно. Но хорошо то, что кроме ПТ часто постили и на других форумах, так что когда мы бежим по постам, мы сохраняем дату последнего поста, если пост доступен (потому что он на неудаленных форумах), и когда нарываемся на пост из ПТ, берем дату последнего доступного поста. Таким образом неточность даты времени не превышала пары часов, а основном пары минут.
Проблема 2: Аттачменты недоступны.
У жужеля 1 пост 1 аттачмент, выдергивать их легко, но там тоже стоит залонка
If ПТ then Облом
И режим редактирования здесь не поможет.
Частичное решение я нашел, но его нельзя было использовать массово. Решение – перенос темы в форум Тест, выкачивание аттачей, возврат темы обратно.
Для тем А51 у жужеля оказался еще какой-то запрет. Переносить оттуда их оказалось нельзя. Так что аттачи из А51 недоступны совершенно.
Для тем ПТ с аттачами есть одна проблема. Перенос темы отражается в модераторском логе. Если бы я переносил десятки тысяч тем из ПТ и обратно, весь модерлог был бы засран моими логами переноса и я бы спалился моментально, мне дали бы гусем по пизде.
Поэтому я решил медленно и осторожно переносить только самые важные темы которые я таковыми счел. Тем не менее дмидек меня все равно спалил, но эту акцию я приурочил к недоступности скруля в течении нескольких суток – типа разволновался что скруль совсем всё и решил спасти пару тем для истории.
Возможно в будущем когда / если жужель будет закрывать скруль, можно будет провернуть эту акцию со всеми темами ПТ. А может даже он раздобрится и даст доступ по нормальному на время.
Проблема 3: Удаленные посты недоступны ни на редактирование ни на цитирование (выдается error 500). Удаленные темы доступны без проблем.
Решается аналогично – путем переноса темы в Тест и просмотра в режиме удаленных. Тут уже парсинг другой. На редактирование вызвать нельзя, пришлось делать обратный парсинг HTML удаленных постов.
Точно также переносил лишь темы которые счел важными.
Весь этот сложный процесс в итоге показал скорость скачивания 90-110 постов в минуту. В пересчете на дни это где то 150 дней. Чтобы ускорить этот процесс я сделал два процесса – из пункта А и Б два поезда выехали навстречу друг другу. Один процесс парсил сначала, другой с конца, и в один прекрасный день они встретились.
В общем с перерывами я выкачал посты за 127 дней, и у меня есть почти полноценный архив ПТ и А51.
Цитата 
[игнорируется]
Эту акцию я назвал "Проект Дикобраз" и даже уже подготовил архим под урлом dikobraz.nosql.ru :)
Ничего человеческого нет в этой истории. Про Жужеля и так понятно. Непонятно зачем Деда закрыл дедофорум.
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #485075
Мудило
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[не активирован]
sergey11  20.07.2023, 14:22
[игнорируется]
basename  14.07.2023, 19:16
[игнорируется]
Смежные темы

Грядёт нечто ГРОМАДНОЕ в рамках реорганизации форума! Вспомнить всё!
Ноутбук Деды!
Цитата 
[игнорируется]
За год до СВО я тоже мутил проект:) У меня кое что есть

Выкачивание ПТ

Форум ПТ на sql.ru прекратил существование быстро и неожиданно 3 августа 2018 года. Темы и сообщения не были удалены физически, жужель просто в коде поставил заслонку
If ПТ then Облом
Поэтому доступ отсутствует даже у модераторов. Однако через поиск и избранные темы еще видны, но войти в них нельзя.
Казалось бы, шансов подобраться к постам никаких, но нашелся въедливый участник форума, который таки нашел лазейку. При вызове поста на цитирование защиты нет. Об этой лазейке он сообщил мне, я как узнал о ней сразу проверил еще одну догадку – вызов поста на редактирование. Оно тоже оказалось незащищенным, более того любой модератор может вызывать на редактирование любой пост, даже если он не в подотчетном форуме.
Это был охуенный шанс. Решением было просто пробежаться по всем постам от 1 до 22000000. Изначально мы не знаем какой теме и какому форуму принадлежит пост, поэтому бежать нужно через все и проверять.
Вызвать пост на редактирование и забрать BB код. Это намного лучше и эффективнее чем обратный парсинг HTML.
Но у этого решения был ряд ограничений, многие из которых удалось решить, но не все.
Проблема 1: При вызове на редактирование не подгружается ни дата поста, ни id топика, ни id форума. Но название топика есть!
Узнать id топика.
Переходим напрямую к текущему сообщению по id сообщения, получаем отлуп что тема не доступна, но в урл уже фигугирует id топика.
Узнать id форума.
Добавляем топик по известному id топика в избранное, напротив него в таблице появляется название и id форума. Выпарсиваем его.

Узнать дату поста.
Тут только приблизительно. Но хорошо то, что кроме ПТ часто постили и на других форумах, так что когда мы бежим по постам, мы сохраняем дату последнего поста, если пост доступен (потому что он на неудаленных форумах), и когда нарываемся на пост из ПТ, берем дату последнего доступного поста. Таким образом неточность даты времени не превышала пары часов, а основном пары минут.
Проблема 2: Аттачменты недоступны.
У жужеля 1 пост 1 аттачмент, выдергивать их легко, но там тоже стоит залонка
If ПТ then Облом
И режим редактирования здесь не поможет.
Частичное решение я нашел, но его нельзя было использовать массово. Решение – перенос темы в форум Тест, выкачивание аттачей, возврат темы обратно.
Для тем А51 у жужеля оказался еще какой-то запрет. Переносить оттуда их оказалось нельзя. Так что аттачи из А51 недоступны совершенно.
Для тем ПТ с аттачами есть одна проблема. Перенос темы отражается в модераторском логе. Если бы я переносил десятки тысяч тем из ПТ и обратно, весь модерлог был бы засран моими логами переноса и я бы спалился моментально, мне дали бы гусем по пизде.
Поэтому я решил медленно и осторожно переносить только самые важные темы которые я таковыми счел. Тем не менее дмидек меня все равно спалил, но эту акцию я приурочил к недоступности скруля в течении нескольких суток – типа разволновался что скруль совсем всё и решил спасти пару тем для истории.
Возможно в будущем когда / если жужель будет закрывать скруль, можно будет провернуть эту акцию со всеми темами ПТ. А может даже он раздобрится и даст доступ по нормальному на время.
Проблема 3: Удаленные посты недоступны ни на редактирование ни на цитирование (выдается error 500). Удаленные темы доступны без проблем.
Решается аналогично – путем переноса темы в Тест и просмотра в режиме удаленных. Тут уже парсинг другой. На редактирование вызвать нельзя, пришлось делать обратный парсинг HTML удаленных постов.
Точно также переносил лишь темы которые счел важными.
Весь этот сложный процесс в итоге показал скорость скачивания 90-110 постов в минуту. В пересчете на дни это где то 150 дней. Чтобы ускорить этот процесс я сделал два процесса – из пункта А и Б два поезда выехали навстречу друг другу. Один процесс парсил сначала, другой с конца, и в один прекрасный день они встретились.
В общем с перерывами я выкачал посты за 127 дней, и у меня есть почти полноценный архив ПТ и А51.
Цитата 
[игнорируется]
Эту акцию я назвал "Проект Дикобраз" и даже уже подготовил архим под урлом dikobraz.nosql.ru :)
Ничего человеческого нет в этой истории. Про Жужеля и так понятно. Непонятно зачем Деда закрыл дедофорум.
он устал и ушол.
...
Рейтинг: 1 / 0
Нравится: Гарыныч
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #485097
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Мудило  20.07.2023, 22:02
[игнорируется]
sergey11 [игнорируется] 

он устал и ушол.
а Сирожа11, дожил до 45-ти лет, но так нихкуа и не понил.... :((
...
дед-пердед
Изменено: 20.07.2023, 22:43 - Гарыныч
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #485128
Мудило
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[не активирован]
Гарыныч  20.07.2023, 22:43
[игнорируется]
Мудило  20.07.2023, 22:02
[игнорируется]
sergey11 [игнорируется] 

он устал и ушол.
а Сирожа11, дожил до 45-ти лет, но так нихкуа и не понил.... :((
ему некогда понимать он в перманентной ажитации то кони не йобаны то девочки убийцы то училка уныло теребит клитор в углу вспоминая Серёгу непечатным тихим словом
...
Рейтинг: 5 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #485132
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Мудило  20.07.2023, 23:32
[игнорируется]
Гарыныч  20.07.2023, 22:43
[игнорируется]
Мудило  20.07.2023, 22:02
[игнорируется]
sergey11 [игнорируется] 

он устал и ушол.
а Сирожа11, дожил до 45-ти лет, но так нихкуа и не понил.... :((
ему некогда понимать он в перманентной ажитации то кони не йобаны то девочки убийцы то училка уныло теребит клитор в углу вспоминая Серёгу непечатным тихим словом
ахуенно ты щас сказал, мана!!!
...
дед-пердед
Изменено: 20.07.2023, 23:37 - Гарыныч
Рейтинг: 1 / 0
Нравится: Мудило
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #489313
Antonariy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Еббадь деду делать нехуй. Никто дальше второй страницы даже тут не заглядывает, кому нужно в ископаемых говнах ковыряться? Я еще понимаю проффорумы, база срачей знаний огромная, но ПТ или арея?
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #489314
Antonariy
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
eNose  15.07.2023, 18:03
[игнорируется]
Но вообще жужель пидор конченый.
Сделал бы ридонли и всё.
Нахуя было глушить сервак?
Ответ в вопросе.
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #489377
Sparrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Antonariy  26.07.2023, 07:55
[игнорируется]
eNose  15.07.2023, 18:03
[игнорируется]
Но вообще жужель пидор конченый.
Сделал бы ридонли и всё.
Нахуя было глушить сервак?
Ответ в вопросе.
Джуже был хороший ,пока молодой, потом приложится к бутылке и скурвился.
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #489379
Sparrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Он ничем вам не обязан.
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #489386
Sparrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Психанул, с кем не бывает,,?
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #489387
Sparrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я его не оправдываю, но могу понять.
...
Рейтинг: 0 / 0
Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
    #489393
Sparrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Вы пробовали жить в лондоне?
...
Рейтинг: 0 / 0
25 сообщений из 281, страница 3 из 12
Форумы / Вопросы по форуму [закрыт для гостей] / Скандалы, интриги, расследования. "Проект Дикобраз". Привет от Деды!
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (2): Анонимы (2)
Игнорируют тему (1): erbol
Читали форум (4): Анонимы (3), Bing Bot
Пользователи онлайн (48): Анонимы (38), Green, Redd, Bing Bot, a.v.z 1 мин., Неуловимый Джо 1 мин., sergey11 2 мин., Шоколадный01 2 мин., Сталкер 3 мин., NSFuimus 6 мин., Google Bot 7 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]