|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Ну я вижу 3 пути указал выше... Ну рисовать микросервис для разовой загрузки глупо это как из пушки по воробьям... Как по мне самое простое 3 вариант - через файлы перегнать, но... в банке безопасники запрещают - типа не секурно и вообще нильзя - не объясним по чему, если сам не понимаешь, мы не виноваты что не понимаешь очевидного... можно конечно SSIS попробовать... чота бл попробовал - не видит дефалтово постгрес, создал даже ODBC DSN - тоже сука не видит ))) может какой ему драйвер специальный нужен? В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк меж мс-мс внутри сервера простая таблица - 0.1 сек переливается, в докер постгрес с помощью повершела - 3 минуты ))))))) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 17:38 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Можно скриншоты экранов сделать, потом распознать чем-то вроде аби файнридера, потом отпарсить в дельфях и инсертом вставить. ... |
|||
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных, идейный укр, который родился не в России иноагент, но без официального статуса :
Нравится:
Не нравится:
|
|||
28.03.2023, 23:04 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
Можно скриншоты экранов сделать, потом распознать чем-то вроде аби файнридера, потом отпарсить в дельфях и инсертом вставить. ... |
|
:
|
|
28.03.2023, 23:09 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк ... |
|
:
|
|
28.03.2023, 23:15 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql. Спросил у одного разраба: informatica, но были проблемы с текстовыми полями. ... |
|
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных, идейный укр, который родился не в России иноагент, но без официального статуса :
|
|
29.03.2023, 11:38 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
Спросил у одного разраба: informatica, но были проблемы с текстовыми полями. Можно установить бесплатный Pentaho, если informatica нет. ... |
|
:
|
|
29.03.2023, 11:41 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
... Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql. Спросил у одного разраба: informatica, но были проблемы с текстовыми полями. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 14:22 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 14:59 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Redd ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:02 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
... Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql. Спросил у одного разраба: informatica, но были проблемы с текстовыми полями. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:03 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
из платных могу посоветовать EMS Data Pump for PostgreSQL, если интересно могу рассказать, там есть свои + и - бесплатно, то базу можно мигрировать используя комбинацию tds_fdw + sqlserver2pgsql для начала sudo yum install tds_fdw_14 CREATE EXTENSION tds_fdw; CREATE SERVER mssql FOREIGN DATA WRAPPER tds_fdw OPTIONS (servername 'mssql', database ‘database', msg_handler 'notice'); CREATE USER MAPPING FOR postgres SERVER mssql OPTIONS (username ‘user', password 'password'); CREATE DATABASE new_db; CREATE SCHEMA new_schema; IMPORT FOREIGN SCHEMA dbo FROM SERVER mssql INTO new_schema OPTIONS (import_default 'true'); экспортируем структуру БД MSSQL через генерацию скрипта даем пожевать ее perl sqlserver2pgsql.pl -f tables.sql -b tables-before.sql -a tables-after.sql -u tables-unsure.sql на выходе получаем скрипты для постгри tables-before.sql – файл создания таблиц tables-after.sql – файл установки ограничений tables-unsure.sql – файл значений по умолчанию далее хуячим курсором DO $$ DECLARE rec RECORD; cur CURSOR FOR SELECT foreign_table_name FROM information_schema.foreign_tables; BEGIN OPEN cur; LOOP FETCH cur INTO rec; EXIT WHEN NOT FOUND; EXECUTE ('insert into public.'||lower(rec.foreign_table_name)||' select * from '||'public."'||rec.foreign_table_name||'"'||';'); END LOOP; CLOSE cur; END $$; на тестовом стенде проверял 300 гигов льет часа за 3 на сервере типа 4 ядра и 15 гигов ОЗУ ... |
|
:
|
|
29.03.2023, 15:07 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:10 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
p.s. это касаемо данных индексы, вторичные ключи, ограничения - там уже своя ебля ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:10 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:10 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
из платных могу посоветовать EMS Data Pump for PostgreSQL, если интересно могу рассказать, там есть свои + и - бесплатно, то базу можно мигрировать используя комбинацию tds_fdw + sqlserver2pgsql для начала sudo yum install tds_fdw_14 CREATE EXTENSION tds_fdw; CREATE SERVER mssql FOREIGN DATA WRAPPER tds_fdw OPTIONS (servername 'mssql', database ‘database', msg_handler 'notice'); CREATE USER MAPPING FOR postgres SERVER mssql OPTIONS (username ‘user', password 'password'); CREATE DATABASE new_db; CREATE SCHEMA new_schema; IMPORT FOREIGN SCHEMA dbo FROM SERVER mssql INTO new_schema OPTIONS (import_default 'true'); экспортируем структуру БД MSSQL через генерацию скрипта даем пожевать ее perl sqlserver2pgsql.pl -f tables.sql -b tables-before.sql -a tables-after.sql -u tables-unsure.sql на выходе получаем скрипты для постгри tables-before.sql – файл создания таблиц tables-after.sql – файл установки ограничений tables-unsure.sql – файл значений по умолчанию далее хуячим курсором DO $$ DECLARE rec RECORD; cur CURSOR FOR SELECT foreign_table_name FROM information_schema.foreign_tables; BEGIN OPEN cur; LOOP FETCH cur INTO rec; EXIT WHEN NOT FOUND; EXECUTE ('insert into public.'||lower(rec.foreign_table_name)||' select * from '||'public."'||rec.foreign_table_name||'"'||';'); END LOOP; CLOSE cur; END $$; на тестовом стенде проверял 300 гигов льет часа за 3 на сервере типа 4 ядра и 15 гигов ОЗУ ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:11 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? 1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует )))) 2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец. 3. дблинк или же линкед сервер по той же самой причине запретили. Выход, или что то свое писать на джава, скрипт баш павершел или что уже куплено и разрешено использовать. Ну раз мсскл у нас куплен, хоть мы и отказываемся, с мсскл идет ссис - вот им пока и пользуюсь. хотя... когда не будет мсскл не будет ссис и я бы наверное перелез сразу на пентаху... но пентаха пока не разрешена ))))))))))))))))) и не согласована ... |
|||
:
Изменено: 29.03.2023, 15:16 - Дед-Папыхтет
Нравится:
Не нравится:
|
|||
29.03.2023, 15:16 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
а, забыл уточнить EMS Data Pump for PostgreSQL есть демо режим 30 дней, только он переносит 10% от данных в этом режиме ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:16 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:18 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
локально я всяко могу сделать на стенде тестовом или девелоперском или локально... а на прод хуй пустят ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:18 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тебе просто данные перенести из таблиц или ты хочешь всю базу мигрировать? 1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует )))) 2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец. 3. дблинк или же линкед сервер по той же самой причине запретили. Выход, или что то свое писать на джава, скрипт баш павершел или что уже куплено и разрешено использовать. Ну раз мсскл у нас куплен, хоть мы и отказываемся, с мсскл идет ссис - вот им пока и пользуюсь. хотя... когда не будет мсскл не будет ссис и я бы наверное перелез сразу на пентаху... но пентаха пока не разрешена ))))))))))))))))) и не согласована все остальное - либо файлы, либо прямой линк ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:19 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:20 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны )))) Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:23 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны )))) Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:25 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
на эту тему вспомнился мем: В конторе прорвало канализацию. Срочно собрали членов правления АО.
Типа оперативный штаб. После проверки все ли собрались, председательствующий спросил: а в чём причина аварии - мы мало проводим совещаний или они неэффективны? ну очень похоже на совещания когда начальники отделов-департаментов собираются... |
|
:
|
|
29.03.2023, 15:25 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Хотя вот... чобы не сделать экспорт импорт в цсв или хмл?... вроде самое простое... да и дблинк тоже прост, но видимо эксперты сказали что это не безопасно и всё - пиздарики дайте пользователю права в MSSQL только на select из базы, а на постгре, только insert Но... когда то видимо давным давно что бе не ебаца с правами давали учетки сервиса права сисадмина, щас в банке дают права владельца бд на БД, ладно хоть не на сервер. И видимо такие права и не безопасны )))) Я просто предполагаю, что руководящие лица принимающие решения не знают что можно права давать на отдельно взятые таблицы, может даже и знают, но не хотят связываться - сказано так делать - так и делаем. ... |
|||
:
Нравится:
Не нравится:
|
|||
29.03.2023, 15:26 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
на эту тему вспомнился мем: В конторе прорвало канализацию. Срочно собрали членов правления АО.
Типа оперативный штаб. После проверки все ли собрались, председательствующий спросил: а в чём причина аварии - мы мало проводим совещаний или они неэффективны? ну очень похоже на совещания когда начальники отделов-департаментов собираютсяпри этом дошло до смешного, принимать решение не хотят, поэтому у меня нет работы, но с меня же требуют отчета о проделанной работе, в итоге сижу рисую хуи ... |
|
:
|
|
29.03.2023, 15:28 |
|
|
start [/forum/topic.php?fid=19&msg=337704&tid=8476]: |
0ms |
get settings: |
19ms |
get forum list: |
9ms |
check forum access: |
3ms |
check topic access: |
3ms |
track hit: |
35ms |
get topic data: |
10ms |
get forum data: |
2ms |
get page messages: |
1841ms |
get tp. blocked users: |
0ms |
others: | 25ms |
total: | 1947ms |
0 / 0 |