|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
#482690
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
|
||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
Привет. Деду вопрос передал. Обещал посмотреть. ... |
||||||||||||||||
:
Нравится:
Не нравится:
|
||||||||||||||||
16.07.2023, 23:55 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
осталось скачать Delphi, Microsoft SQL Server, Oracle, Microsoft Access это займёт 2-3 дня смотрим, что уже есть https://kroleg.tk/forum/ ... |
|||
:
Нравится:
Не нравится:
|
|||
16.07.2023, 23:58 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
Кстати, сравнительно небольшая получилась. То что дед скачал, с болталками, там почти 80 гиг БД на диске. Файл дампа 35 гиг ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2023, 00:01 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
Кстати, сравнительно небольшая получилась. То что дед скачал, с болталками, там почти 80 гиг БД на диске. Файл дампа 35 гиг у него же там всё "утроено": html_content, text_content, searchable_content ))) не знай, как всё это будет работать в поиске, но на инглише - ищет ))новый замес.... ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2023, 00:27 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
кароче, кокнул всё эти файлы sql-запросов на диске, там 8 гигов и было и ребутнулся из : 83.764 тем форума Делфи удалось импортировать только 29.144 на локалхосте продолжать - можно, но это придётся все мои проекты втуда переносить чё-то кролик в конфьюзе... сорри Ты при импорте бинарные логи удалял? purge binary logs to <последний>. Я когда импортировал дедов архив - удалял постоянно, он бешено пишет туда транзакции. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2023, 09:41 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
кароче, кокнул всё эти файлы sql-запросов на диске, там 8 гигов и было и ребутнулся из : 83.764 тем форума Делфи удалось импортировать только 29.144 на локалхосте продолжать - можно, но это придётся все мои проекты втуда переносить чё-то кролик в конфьюзе... сорри Ты при импорте бинарные логи удалял? purge binary logs to <последний>. Я когда импортировал дедов архив - удалял постоянно, он бешено пишет туда транзакции. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2023, 09:44 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
cahrim [игнорируется] Тоже места вообще нигде нет. Ни на ноутбуке, ни на десктопоном компе, ни на хостинге. Наверное, надо сразу на хостинге всё-таки расширяться. 10 гигов - 89 рублей. это на полтера расшириться - +4450 рублей в месяц. Жесть. Ну вначале надо с БД поработать, объединить их, полтера должно хватить ) потом вложения, те что есть, запихну в я.диск, они отсосутся автоматом. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2023, 09:54 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
#482943
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
Ссылка на вложение 2:
|
|||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
cahrim [игнорируется] Тоже места вообще нигде нет. Ни на ноутбуке, ни на десктопоном компе, ни на хостинге. Наверное, надо сразу на хостинге всё-таки расширяться. 10 гигов - 89 рублей. это на полтера расшириться - +4450 рублей в месяц. Жесть. Ну вначале надо с БД поработать, объединить их, полтера должно хватить ) потом вложения, те что есть, запихну в я.диск, они отсосутся автоматом. - доступное по цене по производительности ощутимо хуже текущей конфы, щас хоть процы современные, память быстрая и nvme флэшки быстрые. На дорогих тарифах хостер даже не пиздит ресурсы по процу, а серваки в аренду откровённое старьё - сейчас хостер выполняет полные бэкапы ВМ и хранит их 14 дней. В случае собственного сервера придётся этим заниматься самостоятельно, без виртуализации не обойтись - некоторое время, пока я всё настрою и мигрирую, придутся оплачивать и текущий хостинг и аренду сервера На первой картинке конфа которую можно позволить себе ещё, но там по моему даже аппаратного рэйд нет. Это никуда не годится. Вторая сойдет. ... |
|||||||||||||||||||
:
Нравится:
Не нравится:
|
|||||||||||||||||||
17.07.2023, 10:08 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
basename [игнорируется] не трать денежки я не знаю, чё делать, но денежки, не трать щас оставшиеся форумы докачиваются и через примерно сутки все запросы будут занимать примерно 10 гиг (20 накрайняк) сделаю тебе зип и заберёшь его прям, с сервака, где чат без яндексов в крайнем случае - покусочу, заберёшь кусками, потом склеишь ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2023, 10:20 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
Ты при импорте бинарные логи удалял? вот тут как почистить https://dev.mysql.com/doc/refman/8.0/en/purge-binary-logs.html ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2023, 10:23 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
рекламы здесь не будет. Я ненавижу рекламу. донаты - пожалйста. Я планирую два форума: - этот, nosql.itwrks.org, полностью в текущем формате, с письками, сиськами - sqlru.itwrks.org. Продолжение старого скуля с теми архивами, что есть, труды Деда и Кролика. Там можно правила построже, кому трэш и угар надо - сюда придут. ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2023, 10:45 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
да там и нет срачей (почти, нет) мне поневоле пришлось там почитать... там люди - программисты, их сразу видно, зачем они туда пришли и что они хотят апсирать друг друга им некогда - у них работы валом ) да и интересы - другие, потому что они не алкаши особенно интересно почитать за 2000-е годы ))) как всё развивалось в то время, какие были познания и уровень у прогеров того времени :) ... |
|||
:
Нравится:
Не нравится:
|
|||
17.07.2023, 11:01 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
basename [игнорируется] докачал все форумы у меня в хомяке - murcode.zip забирай и делай с ним что хочешь внутри архива есть скрипт murcodeinsert.sh - он автоматически импортирует в БД все форумы для его работы требуется установленная утилита pv http://www.ivarch.com/programs/pv.shtml и данные для подключения к мускулу: dbuser="" dbpassw="" dbname="" зип гасит атрибут исполнения у скрипта, поэтому, выставь его, сам (или sh murcodeinsert.sh) также можно импортировать форумы по одному файлу при выборе архиватора попробовал сначала XZ, потом 7Z - не для моего процика такие гигазы архивировать зипанул zip-ом 13 гиг ужались в 1.5 PS. префикс таблиц форума прибит гвоздями (v1_) в скрипте генерации sql-запросов если у тебя будет другой - пиши, я, переделаю либо, сам - sed'ом поменяй везде Сегодня скачаю архив. В реальные условия буду разворачивать уже, наверное, в августе. Сейчас денег расширять место нет. + ещё пашкины пакости, которые до конца не решены. ... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2023, 09:01 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|
---|---|
#18+
из-за непоняток с хостингом (периодический отказ в доступе) решил на время переехать на свой компик :) Так что тут большая вероятность, что это уже хостер ресурсы подрезал при большой нагрузке на ВМ, высокая утилизация cpu, диска - режет. ВОзможно, на дедофорум тоже подрезал. Я позже посмотрю в мониторинге детально, что происходило вообще по графикам. ... |
|
:
|
|
20.07.2023, 09:06 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
20.07.2023, 14:00 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
ещё я вчера посмотрел - pv для редхата - нет (вроде) ... |
|||
:
Нравится:
Не нравится:
|
|||
21.07.2023, 13:04 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
basename [игнорируется] я тебе предлагаю потренироваться на "моём" хостинге (если будет время): в хомяке, в каталоге с чатом - всё уже есть запускаешь murcodeinsert.sh и смотришь на процесс импорта одновременно, можешь контролировать здесь https://kroleg.tk/forum/ для упрощения и скорости я там оставил всего три форума примерно за 10 минут они все должны залететь в БД если надоело - CTRL + C при желании, можешь туда залить что хочешь - управление субд, дискуссии и тд все-равно потом - удалю Пока созрел план такой, дедов дамп брать за основу, так как он самый большой (34 гига сам дамп и примерно 80 БД на диске) и там восстановленный скуль в форуме болталок с рабочими никами. К нему уже прикручивать форумы, скачанные тобой, начиная с маленьких, смотреть, что получается и пытаться сопоставить ники, форумы, цитирование, ссылки на посты. в SQL я умею очень плохо, поэтому да, буду бэш скриптами и sed в основном. Мне нужно самому понять и вникнуть в алгоритм, тогда уже можно будет залить и все форумы, потом выгрузить и залить в рабочую версию. Удобнее всего и не в ущерб никому это делать либо на компе, либо на ноутбуке. На ноутбуке, наверное, удобнее и приоритетнее, так как больше мобильности, комп с собой не возьмёшь. Но везде диски маленькие. Не знаю, может посмотрю какой дисочек ssd недорогой на терабайт хотя бы в ноут. В общем, это точно до августа как минимум, скорее всего. Кроме того, ещё работа. ... |
|||
:
Нравится:
Не нравится:
|
|||
21.07.2023, 13:16 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|
---|---|
#18+
pv есть, в репозитории epel. В штатных репозиториях нет. Код 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20.
... |
|
:
|
|
22.07.2023, 04:59 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|
---|---|
#18+
К нему уже прикручивать форумы, скачанные тобой работы - на три аддела ))) 1. Заметил, в некоторых форумах количество тем не совпадает с теми, что на муркоде. Ну там на штук 10 где-то. Ну да фиг с ними. 2. Я полный лох, что пздц!!! На муркоде же базу выложили, которая там у них. В свободном доступе. По прямой ссылке. SQLLite, правда, и переделывать её под дедофорум всё-равно бы пришлось, но тем не менее это проще, чем скачивать и парсить с сайта. https://drive.google.com/file/d/1gVUYbJJ0U7_HPfIG-o4CHAuH0R4GjjJy ... |
|
:
|
|
27.07.2023, 20:59 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
К нему уже прикручивать форумы, скачанные тобой работы - на три аддела ))) 1. Заметил, в некоторых форумах количество тем не совпадает с теми, что на муркоде. Ну там на штук 10 где-то. Ну да фиг с ними. 2. Я полный лох, что пздц!!! На муркоде же базу выложили, которая там у них. В свободном доступе. По прямой ссылке. SQLLite, правда, и переделывать её под дедофорум всё-равно бы пришлось, но тем не менее это проще, чем скачивать и парсить с сайта. https://drive.google.com/file/d/1gVUYbJJ0U7_HPfIG-o4CHAuH0R4GjjJy ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2023, 21:08 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
К нему уже прикручивать форумы, скачанные тобой работы - на три аддела ))) 1. Заметил, в некоторых форумах количество тем не совпадает с теми, что на муркоде. Ну там на штук 10 где-то. Ну да фиг с ними. 2. Я полный лох, что пздц!!! На муркоде же базу выложили, которая там у них. В свободном доступе. По прямой ссылке. SQLLite, правда, и переделывать её под дедофорум всё-равно бы пришлось, но тем не менее это проще, чем скачивать и парсить с сайта. https://drive.google.com/file/d/1gVUYbJJ0U7_HPfIG-o4CHAuH0R4GjjJy ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2023, 21:09 |
|
Просто Трёп / Уважаемый Кролег! Важно! Внимание! Просьба! Очень важная и глобальная задача, если тебе интересно!
|
|||
---|---|---|---|
#18+
... 1. Заметил, в некоторых форумах количество тем не совпадает с теми, что на муркоде. Ну там на штук 10 где-то. Ну да фиг с ними. 2. Я полный лох, что пздц!!! На муркоде же базу выложили, которая там у них. В свободном доступе. По прямой ссылке. SQLLite, правда, и переделывать её под дедофорум всё-равно бы пришлось, но тем не менее это проще, чем скачивать и парсить с сайта. https://drive.google.com/file/d/1gVUYbJJ0U7_HPfIG-o4CHAuH0R4GjjJy ... |
|||
:
Нравится:
Не нравится:
|
|||
27.07.2023, 21:48 |
|
|
Start [/forum/search.php?do_search=1&tid=10930&author_mode=wrote_post&author=basename&start_from=490927]: |
0ms |
get settings: |
1ms |
get forum list: |
7ms |
searching: |
27ms |
get settings: |
1ms |
get forum list: |
6ms |
get topic data: |
3ms |
check forum access: |
1ms |
check topic access: |
1ms |
get forum data: |
1ms |
get found posts: |
135ms |
track hit: |
38ms |
get online users: |
92ms |
check new: |
312ms |
others: | 405ms |
total: | 1030ms |
0 / 0 |