|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Ну я вижу 3 пути указал выше... Ну рисовать микросервис для разовой загрузки глупо это как из пушки по воробьям... Как по мне самое простое 3 вариант - через файлы перегнать, но... в банке безопасники запрещают - типа не секурно и вообще нильзя - не объясним по чему, если сам не понимаешь, мы не виноваты что не понимаешь очевидного... можно конечно SSIS попробовать... чота бл попробовал - не видит дефалтово постгрес, создал даже ODBC DSN - тоже сука не видит ))) может какой ему драйвер специальный нужен? В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк меж мс-мс внутри сервера простая таблица - 0.1 сек переливается, в докер постгрес с помощью повершела - 3 минуты ))))))) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 17:38 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Копал бы в сторону штатных конекторов, желательно со стороны постгриса ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 18:07 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Копал бы в сторону штатных конекторов, желательно со стороны постгриса ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 18:16 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Ну тип того, я пострес особо не ковырял, не знаю его возможностей ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 18:18 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 18:20 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 18:22 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Я тут настраивал дружбу 1С с постгрессом, выяснил что постгрессы разных версий бывают, их по разному скомпилировать можно. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 18:25 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл МС игнорит постгрес ? Раньше к мсскл помнится целый кит шел довеском с хуевой тучей разных инструментов ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 18:29 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
#336297
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
Ссылка на вложение 2:
|
|||||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл МС игнорит постгрес ? Раньше к мсскл помнится целый кит шел довеском с хуевой тучей разных инструментов ... |
|||||||||||||||||||
:
Нравится:
Не нравится:
|
|||||||||||||||||||
27.03.2023, 18:35 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
еще есть утилита bcp.exe - bulk copy program с командной строки можно выгрузить из бд в цсв... но безопасники не разрешают )))) вроде как самое простое. Еще мысль была в мсскл сформировать запросом не select id, name from tbl а select 'insert tbl (id, name) values ('+id+','''+name+''')' from tbl - такую пердь на источнике... и сохранить результат в файл ))) но когда десять млн строк... чота я сомневаюсь что постгрес сможет такой скрипт отработать )))))))))) ну это еще хуже чем в цсв выгружать ... |
|||
:
Изменено: 27.03.2023, 18:38 - Дед-Папыхтет
Нравится:
Не нравится:
|
|||
27.03.2023, 18:37 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Я пока так заебенил... мс с дев контура, постгрес в докере локально - так тестю
Спойлер Код: PowerShell 1. 2. 3. 4. 5. 6. 7. 8. 9. 10. 11. 12. 13. 14. 15. 16. 17. 18. 19. 20. 21. 22. 23. 24. 25. 26. 27. 28. 29. 30. 31. 32. 33. 34. 35. 36. 37. 38. 39. 40. 41. 42. 43. 44. 45. 46. 47. 48. 49. 50. 51. 52. 53. 54. 55.
... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 18:43 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Ну... сегодня 100тыс - 1 млн строк десяток таблиц... А вот завтра может быть и история сделок... то есть лучше сразу как то быстрое решение искать на перспективу... ну может действительно пентахо качну ща ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 19:08 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
вот статейка гуглицо https://habr.com/ru/company/postgrespro/blog/309490/ ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 19:33 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Кусь [игнорируется] , Артефакт [игнорируется] Ну это да - это линкованый сервер, в терминах постгри - дблинк. Да это норм по идее, я уже писал безы скорее всего не пропустят... ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 20:17 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
безы скорее всего не пропустят... Заодно отработаешь сценарии постепенной заливки. Всё сразу не перетащишь всё равно, прлстой будет долгим. ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 21:49 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Не понимаю, Лешка изучает яву со страшной силой 24/7, а программы писать не хочет! Вот это поворот. А как же миллионы зп рублей?! ... |
|||
:
Нравится:
Не нравится:
|
|||
28.03.2023, 06:40 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
А как же миллионы зп рублей?! ... |
|||
:
Нравится:
Не нравится:
|
|||
28.03.2023, 06:47 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Это юмор такой ... |
|||
:
Нравится:
Не нравится:
|
|||
28.03.2023, 07:08 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Redd - пидарас ... |
|||
:
Нравится:
Не нравится:
|
|||
28.03.2023, 07:31 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
Можно скриншоты экранов сделать, потом распознать чем-то вроде аби файнридера, потом отпарсить в дельфях и инсертом вставить. ... |
|
:
|
|
28.03.2023, 07:43 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Сиди тихо в пидоровозе и не визжи, а то водителю скажу. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.03.2023, 07:44 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql. ... |
|||
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных, идейный укр, который родился не в России иноагент, но без официального статуса :
Нравится:
Не нравится:
|
|||
28.03.2023, 23:01 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql. ... |
|||
:
Нравится:
Не нравится:
|
|||
28.03.2023, 23:03 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
У нас с Оракла конкретно либо Информатика, либо расширение в pg Oracle_fdw. ... |
|||
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных, идейный укр, который родился не в России иноагент, но без официального статуса :
Нравится:
Не нравится:
|
|||
28.03.2023, 23:03 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Можно скриншоты экранов сделать, потом распознать чем-то вроде аби файнридера, потом отпарсить в дельфях и инсертом вставить. ... |
|||
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных, идейный укр, который родился не в России иноагент, но без официального статуса :
Нравится:
Не нравится:
|
|||
28.03.2023, 23:04 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
Можно скриншоты экранов сделать, потом распознать чем-то вроде аби файнридера, потом отпарсить в дельфях и инсертом вставить. ... |
|
:
|
|
28.03.2023, 23:09 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк ... |
|
:
|
|
28.03.2023, 23:15 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql. Спросил у одного разраба: informatica, но были проблемы с текстовыми полями. ... |
|
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных, идейный укр, который родился не в России иноагент, но без официального статуса :
|
|
29.03.2023, 11:38 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
Спросил у одного разраба: informatica, но были проблемы с текстовыми полями. Можно установить бесплатный Pentaho, если informatica нет. ... |
|
:
|
|
29.03.2023, 11:41 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
... Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql. Спросил у одного разраба: informatica, но были проблемы с текстовыми полями. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 14:22 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 14:59 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Redd ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:02 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
... Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql. Спросил у одного разраба: informatica, но были проблемы с текстовыми полями. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:03 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
из платных могу посоветовать EMS Data Pump for PostgreSQL, если интересно могу рассказать, там есть свои + и - бесплатно, то базу можно мигрировать используя комбинацию tds_fdw + sqlserver2pgsql для начала sudo yum install tds_fdw_14 CREATE EXTENSION tds_fdw; CREATE SERVER mssql FOREIGN DATA WRAPPER tds_fdw OPTIONS (servername 'mssql', database ‘database', msg_handler 'notice'); CREATE USER MAPPING FOR postgres SERVER mssql OPTIONS (username ‘user', password 'password'); CREATE DATABASE new_db; CREATE SCHEMA new_schema; IMPORT FOREIGN SCHEMA dbo FROM SERVER mssql INTO new_schema OPTIONS (import_default 'true'); экспортируем структуру БД MSSQL через генерацию скрипта даем пожевать ее perl sqlserver2pgsql.pl -f tables.sql -b tables-before.sql -a tables-after.sql -u tables-unsure.sql на выходе получаем скрипты для постгри tables-before.sql – файл создания таблиц tables-after.sql – файл установки ограничений tables-unsure.sql – файл значений по умолчанию далее хуячим курсором DO $$ DECLARE rec RECORD; cur CURSOR FOR SELECT foreign_table_name FROM information_schema.foreign_tables; BEGIN OPEN cur; LOOP FETCH cur INTO rec; EXIT WHEN NOT FOUND; EXECUTE ('insert into public.'||lower(rec.foreign_table_name)||' select * from '||'public."'||rec.foreign_table_name||'"'||';'); END LOOP; CLOSE cur; END $$; на тестовом стенде проверял 300 гигов льет часа за 3 на сервере типа 4 ядра и 15 гигов ОЗУ ... |
|
:
|
|
29.03.2023, 15:07 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:10 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
p.s. это касаемо данных индексы, вторичные ключи, ограничения - там уже своя ебля ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:10 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:10 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
из платных могу посоветовать EMS Data Pump for PostgreSQL, если интересно могу рассказать, там есть свои + и - бесплатно, то базу можно мигрировать используя комбинацию tds_fdw + sqlserver2pgsql для начала sudo yum install tds_fdw_14 CREATE EXTENSION tds_fdw; CREATE SERVER mssql FOREIGN DATA WRAPPER tds_fdw OPTIONS (servername 'mssql', database ‘database', msg_handler 'notice'); CREATE USER MAPPING FOR postgres SERVER mssql OPTIONS (username ‘user', password 'password'); CREATE DATABASE new_db; CREATE SCHEMA new_schema; IMPORT FOREIGN SCHEMA dbo FROM SERVER mssql INTO new_schema OPTIONS (import_default 'true'); экспортируем структуру БД MSSQL через генерацию скрипта даем пожевать ее perl sqlserver2pgsql.pl -f tables.sql -b tables-before.sql -a tables-after.sql -u tables-unsure.sql на выходе получаем скрипты для постгри tables-before.sql – файл создания таблиц tables-after.sql – файл установки ограничений tables-unsure.sql – файл значений по умолчанию далее хуячим курсором DO $$ DECLARE rec RECORD; cur CURSOR FOR SELECT foreign_table_name FROM information_schema.foreign_tables; BEGIN OPEN cur; LOOP FETCH cur INTO rec; EXIT WHEN NOT FOUND; EXECUTE ('insert into public.'||lower(rec.foreign_table_name)||' select * from '||'public."'||rec.foreign_table_name||'"'||';'); END LOOP; CLOSE cur; END $$; на тестовом стенде проверял 300 гигов льет часа за 3 на сервере типа 4 ядра и 15 гигов ОЗУ ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:11 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? 1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует )))) 2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец. 3. дблинк или же линкед сервер по той же самой причине запретили. Выход, или что то свое писать на джава, скрипт баш павершел или что уже куплено и разрешено использовать. Ну раз мсскл у нас куплен, хоть мы и отказываемся, с мсскл идет ссис - вот им пока и пользуюсь. хотя... когда не будет мсскл не будет ссис и я бы наверное перелез сразу на пентаху... но пентаха пока не разрешена ))))))))))))))))) и не согласована ... |
|||
:
Изменено: 29.03.2023, 15:16 - Дед-Папыхтет
Нравится:
Не нравится:
|
|||
29.03.2023, 15:16 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
а, забыл уточнить EMS Data Pump for PostgreSQL есть демо режим 30 дней, только он переносит 10% от данных в этом режиме ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:16 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:18 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
локально я всяко могу сделать на стенде тестовом или девелоперском или локально... а на прод хуй пустят ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:18 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? 1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует )))) 2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец. 3. дблинк или же линкед сервер по той же самой причине запретили. Выход, или что то свое писать на джава, скрипт баш павершел или что уже куплено и разрешено использовать. Ну раз мсскл у нас куплен, хоть мы и отказываемся, с мсскл идет ссис - вот им пока и пользуюсь. хотя... когда не будет мсскл не будет ссис и я бы наверное перелез сразу на пентаху... но пентаха пока не разрешена ))))))))))))))))) и не согласована все остальное - либо файлы, либо прямой линк ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:19 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:20 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны )))) Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:23 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны )))) Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:25 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
на эту тему вспомнился мем: В конторе прорвало канализацию. Срочно собрали членов правления АО.
Типа оперативный штаб. После проверки все ли собрались, председательствующий спросил: а в чём причина аварии - мы мало проводим совещаний или они неэффективны? ну очень похоже на совещания когда начальники отделов-департаментов собираются... |
|
:
|
|
29.03.2023, 15:25 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны )))) Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:26 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
на эту тему вспомнился мем: В конторе прорвало канализацию. Срочно собрали членов правления АО.
Типа оперативный штаб. После проверки все ли собрались, председательствующий спросил: а в чём причина аварии - мы мало проводим совещаний или они неэффективны? ну очень похоже на совещания когда начальники отделов-департаментов собираютсяпри этом дошло до смешного, принимать решение не хотят, поэтому у меня нет работы, но с меня же требуют отчета о проделанной работе, в итоге сижу рисую хуи ... |
|
:
|
|
29.03.2023, 15:28 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
миграция с мсскл - ссис у нас уже есть По моему опыту всякие ODBC, особенно некоммерческие, могут имет ограничения на предмет записи данных в удалённый приёмник, а вот с чтением как правило проблем очень мало. Так что если льёшь в посгрес, то и использовать надо средства посгреса. ИМХО. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:37 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
миграция с мсскл - ссис у нас уже есть По моему опыту всякие ODBC, особенно некоммерческие, могут имет ограничения на предмет записи данных в удалённый приёмник, а вот с чтением как правило проблем очень мало. Так что если льёшь в посгрес, то и использовать надо средства посгреса. ИМХО. ... |
|
:
|
|
29.03.2023, 15:40 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует )))) 2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец. 3. дблинк или же линкед сервер по той же самой причине запретили. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:42 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
эксперты сказали что это не безопасно и всё - пиздарики Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:43 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
ну можно всякие екстеншены поискать для постгри ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:46 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
ну можно всякие екстеншены поискать для постгри иначе все скрипты и опен софт запрещены) ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:49 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
А если посадить безопасников переносить данные руками из одной базы в другую? Уверен, это будет самый безопасный вариант. И чем больше привлеч безопасников, тем выше производительность такого решения. ... |
|
:
|
|
29.03.2023, 17:25 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
А если посадить безопасников переносить данные руками из одной базы в другую? Уверен, это будет самый безопасный вариант. И чем больше привлеч безопасников, тем выше производительность такого решения. ... |
|
:
|
|
29.03.2023, 18:07 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
#337827
Ссылка:
Ссылка на сообщение:
Ссылка с названием темы:
Ссылка на профиль пользователя:
Ссылка на вложение:
|
||||||||||||||||
---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|---|
#18+
... |
||||||||||||||||
:
Нравится:
Не нравится:
|
||||||||||||||||
29.03.2023, 18:22 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
нет ли втут ДСП? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 18:25 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Штааа? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 18:37 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
древесно-стружечная плита ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 18:44 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
красивое! ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 18:46 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
NDA ... |
|||
деревья умирают стоя
:
Нравится:
Не нравится:
|
|||
29.03.2023, 18:46 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 18:48 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
и чем это отличается от прямого линка? - ничем)) ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 20:58 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
прямой линк СБ забороняє ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 21:04 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
и чем это отличается от прямого линка? - ничем)) у всяких подобных ЕТЛ программ есть неоспоримые преимущества. 1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно. 2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться. 3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка. Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство... Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом... ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 21:05 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
anonymous [игнорируется] нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает... у всяких подобных ЕТЛ программ есть неоспоримые преимущества. 1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно. 2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться. 3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка. Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство... Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом... ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 21:44 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
и чем это отличается от прямого линка? - ничем)) у всяких подобных ЕТЛ программ есть неоспоримые преимущества. 1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно. 2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться. 3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка. Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство... Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом... я ей пользовался, но удобно, когда надо либо быстро что-то набросать, либо создать некую схему порядков выполнения, условий и прочего в постгрессе аналог булк инсерта есть при заливки из файлов, остальное обычный инсерт (сам не проверял, но на курсах так объясняли) если же нужно лить большие таблицы на постоянной основе без каких-то изъебов я бы выбрал прямой линк или файлы csv написанный скрипт в целом будет делать тоже самое ... |
|||
:
Изменено: 29.03.2023, 22:00 - anonymous
Нравится:
Не нравится:
|
|||
29.03.2023, 22:00 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
anonymous [игнорируется] нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает... у всяких подобных ЕТЛ программ есть неоспоримые преимущества. 1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно. 2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться. 3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка. Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство... Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом... ... |
|
:
|
|
29.03.2023, 22:01 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тоже любили коней? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 23:52 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
тоже любили коней? ... |
|
:
|
|
30.03.2023, 00:09 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тоже любили коней? ... |
|||
:
Нравится:
Не нравится:
|
|||
30.03.2023, 09:45 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тоже любили коней? Была себе одна служба и работала она в рамках федерального округа. То есть в каждом федеральном округе своя служба со своими базами со своей автоматизацией и так далее. В рамках округа базы были разные, у кого-то распределённые, у кого-то централизованные, где-то была репликация, где-то не было, соответственно отчётность и учётность тоже сильно отличались. Решило руководство страны навести порядок в учёте, точнее если раньше службы брали деньги с клиентов себе, но часть переводили в бюджет, то теперь решили, что всё в бюджет, а на расходы службам по бюджетным заявкам возвращать. Для наведения порядка было решено в плане учёта ТМЦ, зарплаты и прочей бухгалтерии перейти на единую платформу с общей БД. Платформа эта 1С естественно. У нас в округе тоже уже перешли на 1С какую-то к тому моменту, что не отменяло перехода глобального на 1С-ERP. Дошло дело до выгрузки остатков ТМЦ из баз округов в общую ERPу. Естественно это уже когда процессы оттестированы, планы счетов вбиты и частично, точнее все новые проводки идут уже в общей системе. Но для построения отчётности надо же остатки все сгрузить. Собирается совещание. Вопрос хотели решить быстро и велели всем справочники номенклатуры выгрузить и нормас. Но тут выяснилось, как всегда внезапно, что справочника номенклатуры будет недостаточно, ибо ручка эрих краузе номенклатурно вроде бы одна, а вот в реализациях в округах этих ручек как у дурака фантиков, все эрих краузе, все внешне одинаковые, отличаются внезапно ценой. На каждую цену заводилась новая номенклатура, ну так вот. Естественно (на самом деле противоестественно) что у бухгалтера с головной свежеиспечённой организации возник вопрос почему цены на ручки разные, что за бардак и вообще это попахивает откатами всех расстрелять немедленно! Бухгалтеры на местах сказали, что это не бардак, а закупки в разные момент времени, ибо ручки не вечные и иногда (часто) приходится пополнять исчезающие запасы всей канцелярки, поэтому расстрелять надо сраных торгашей из миномётов! На совещании присутствовала наша сотрудница, программист, специалист по бухгалтерским программам и она предложила сделать выгрузку из нашей системы в их в нужном виде, передать специалистам головной организации по защищённым каналам передачи данных, а те в свою очередь загрузят. Но был нюанс, нужно было определиться с параметрами выверки, как быть уверенным, что перенеслось всё и корректно. Для этого надо было сформировать отчётные документы за истекший период на окружных базах и на центральной в разрезе округов, затем сравнить циферки. Ну как бы на мой взгляд оно логично. Была на дворе пятница. Далее был такой диалог. Главбух центрального аппарата: - Не надо выгрузки, мои девочки забьют всю номенклатуру руками, так будет надёжнее. Наша программист: - Но у нас например около 20 тысяч позиций номенклатуры, у других округов списки тоже немаленькие... - А ничего страшного, за выходные справятся. Вот так вот оно иногда (часто) бывает... ... |
|||
:
Нравится:
Не нравится:
|
|||
30.03.2023, 12:05 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
эксперты сказали что это не безопасно и всё - пиздарики Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши. ... |
|||
:
Изменено: 04.04.2023, 20:25 - PaNik
Нравится:
Не нравится:
|
|||
04.04.2023, 20:24 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
эксперты сказали что это не безопасно и всё - пиздарики Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши. ... |
|||
:
Изменено: 04.04.2023, 20:36 - Ифрит
Нравится:
Не нравится:
|
|||
04.04.2023, 20:33 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
безопасники - это чтобы тебе проблем создать Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации. Это же азбука информационной безопасности. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.04.2023, 21:42 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
безопасники - это чтобы тебе проблем создать Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации. Это же азбука информационной безопасности. ... |
|
:
|
|
04.04.2023, 21:58 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Тема была перенесена из форума 'Просто Трёп'. ... |
|||
Администратор:
Тема была перенесена из форума 'Просто Трёп'.
Нравится:
Не нравится:
|
|||
02.05.2023, 17:46 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
выгружать из ms sql надо утилитой bcp. Не может быть чтобы в постгрее не было средства эти файлы загрузить. Может это : https://www.postgresql.org/message-id/CAKJS1f_7eVMOFKva wwQSjqVoAmHaMa0kP4gyz1tW_pVYtTfNw@mail.gmail.com ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2023, 14:25 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Ваши безопасники боятся сторонних утилит? Пиши свою. Формат файлов bcp совсем простой, там можно и csv. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2023, 14:34 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Ну в MS SQL есть средства миграции, вроде Integration Services. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2023, 19:30 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
На практике из MS SQL переносят или при помощи SSIS или tds_fdw. Хорошо если готовая схема в PostgreSQL уже есть. Данные нужно тащить вообще без индексов в целевых таблицах. Создавать их нужно потом. Ну в самом конце синхронизация последовательностей. ... |
|
Даже лютый зверь имеет каплю жалости. Я не имею - значит я не зверь.
:
|
|
18.02.2024, 00:57 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора. Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю! ) ... |
|||
Даже лютый зверь имеет каплю жалости. Я не имею - значит я не зверь.
:
Изменено: 21.02.2024, 21:55 - Тень на плетень
Нравится:
Не нравится:
|
|||
21.02.2024, 21:55 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора. Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю! ) ... |
|
:
|
|
21.02.2024, 22:00 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
Сегодня настроил мигратор для еще одного проекта. Но там миграция из Оракла. Там где то 1.5 терабайт. Нужно перенести максимум за 5 часов. По факту наверное часа 2 будет норм. Схемы на этот раз не было, но сгененрил шаблон через ora2pg. В основном были нужны ограничения и индексы. Перетаскивать данные буду через oracle_fdw примерно в 100 потоков, там у них 128 ядер. Так что мигрируем проекты как пирожки ... |
|
Даже лютый зверь имеет каплю жалости. Я не имею - значит я не зверь.
:
|
|
21.02.2024, 22:12 |
|
|
start [/forum/topic.php?all=1&fid=19&tid=8476]: |
0ms |
get settings: |
18ms |
get forum list: |
8ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
37ms |
get topic data: |
12ms |
get forum data: |
2ms |
get page messages: |
6224ms |
get tp. blocked users: |
1ms |
others: | 30ms |
total: | 6336ms |
0 / 0 |