Гость
Map
Форумы / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres? / 26 сообщений из 89, страница 1 из 4
27.03.2023, 17:38  
    #336235
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Кто чем делает миграцию данных из MSSQL в Postres?
Какие варианты есть?
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
Ну я вижу 3 пути указал выше...
Ну рисовать микросервис для разовой загрузки глупо это как из пушки по воробьям... Как по мне самое простое 3 вариант - через файлы перегнать, но... в банке безопасники запрещают - типа не секурно и вообще нильзя - не объясним по чему, если сам не понимаешь, мы не виноваты что не понимаешь очевидного...
можно конечно SSIS попробовать... чота бл попробовал - не видит дефалтово постгрес, создал даже ODBC DSN - тоже сука не видит ))) может какой ему драйвер специальный нужен?
В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк меж мс-мс внутри сервера простая таблица - 0.1 сек переливается, в докер постгрес с помощью повершела - 3 минуты )))))))
...
Рейтинг: 0 / 0
27.03.2023, 18:07
    #336264
Помощник Менеджера
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Копал бы в сторону штатных конекторов, желательно со стороны постгриса
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
27.03.2023, 18:16
    #336267
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Помощник Менеджера  27.03.2023, 18:07
[игнорируется]
Копал бы в сторону штатных конекторов, желательно со стороны постгриса
Всмысле, в постгрес заебенить dblink (linked server) на mssql? и скриптом заливать?
...
Рейтинг: 0 / 0
27.03.2023, 18:18
    #336271
Помощник Менеджера
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  27.03.2023, 18:16
[игнорируется]
Помощник Менеджера  27.03.2023, 18:07
[игнорируется]
Копал бы в сторону штатных конекторов, желательно со стороны постгриса
Всмысле, в постгрес заебенить dblink (linked server) на mssql? и скриптом заливать?
Ну тип того, я пострес особо не ковырял, не знаю его возможностей
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
27.03.2023, 18:20
    #336275
Помощник Менеджера
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
27.03.2023, 18:22
    #336277
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
...
Рейтинг: 0 / 0
27.03.2023, 18:25
    #336281
Green
Модератор форума
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Я тут настраивал дружбу 1С с постгрессом, выяснил что постгрессы разных версий бывают, их по разному скомпилировать можно.
...
Рейтинг: 0 / 0
27.03.2023, 18:29
    #336288
Помощник Менеджера
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
А штатные какие то инструменты есть?
МС игнорит постгрес ?
Раньше к мсскл помнится целый кит шел довеском с хуевой тучей разных инструментов
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
27.03.2023, 18:35
    #336297
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Помощник Менеджера  27.03.2023, 18:29
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
А штатные какие то инструменты есть?
МС игнорит постгрес ?
Раньше к мсскл помнится целый кит шел довеском с хуевой тучей разных инструментов
У мс скл есть штатный SSIS - Integration Services, облегченный с клиентом в винде есть "мастер импорт-экспорт"
1.JPG
2.JPG
...
Рейтинг: 0 / 0
27.03.2023, 18:37
    #336300
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
еще есть утилита bcp.exe - bulk copy program с командной строки можно выгрузить из бд в цсв... но безопасники не разрешают )))) вроде как самое простое.

Еще мысль была в мсскл сформировать запросом
не

select id, name from tbl

а

select 'insert tbl (id, name) values ('+id+','''+name+''')' from tbl - такую пердь на источнике...
и сохранить результат в файл )))
но когда десять млн строк... чота я сомневаюсь что постгрес сможет такой скрипт отработать ))))))))))

ну это еще хуже чем в цсв выгружать
...
Изменено: 27.03.2023, 18:38 - Дед-Папыхтет
Рейтинг: 0 / 0
27.03.2023, 18:43
    #336305
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Я пока так заебенил... мс с дев контура, постгрес в докере локально - так тестю
Спойлер
Код: PowerShell
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
cls
$src_server = "server-mssql"
$src_port = 1433
$src_db = "db1"
$src_uid = "user1"
$src_pwd = "password1"

$trg_server = "localhost"
$trg_port = 5442
$trg_db = "dbtest"
$trg_uid = "dbuser"
$trg_pwd = "password2"

$src_conn = New-Object System.Data.Odbc.OdbcConnection
$src_conn.ConnectionString = "Driver={SQL Server};Server=$src_server;Port=$src_port;Database=$src_db;Uid=$src_uid;Pwd=$src_pwd"
$src_conn.Open()

$trg_conn = New-Object System.Data.Odbc.OdbcConnection
$trg_conn.ConnectionString = "Driver={PostgreSQL UNICODE};Server=$trg_server;Port=$trg_port;Database=$trg_db;Uid=$trg_uid;Pwd=$trg_pwd;"

$SQL = "select distinct id from dbo.guide"
$src_da = New-Object System.Data.Odbc.OdbcDataAdapter($sql, $src_conn)
$src_dt = New-Object System.Data.DataTable
$count = $src_da.Fill($src_dt)
Write-Host "dbo.guide readed" $count "rows"

$d1 = (GET-DATE)
Write-Host "Start insert assets.assets - $d1"

$trg_conn.Open()
$sql = "insert into assets.assets (id) values (?)"
$command = New-Object System.Data.Odbc.OdbcCommand($sql, $trg_conn)
$command.Parameters.Add("id", [int]) | Out-Null
$command.Transaction = $trg_conn.BeginTransaction()

$loaded = 0

$src_dt | foreach {
    $command.Parameters["id"].Value = $_.id
    try {
        $command.ExecuteNonQuery() | Out-Null
        $loaded += 1
    } catch {}
}
$command.Transaction.Commit()
$d2 = (GET-DATE)
$duration = (New-Timespam –Start $d1 –End $d2)
Write-Host "Finish insert assets.assets - $d2"
$duration
Write-Host "dbo.guide writed" $count "rows"

$trg_conn.Close()
$src_conn.Close()
$trg_conn.Dispose()
$src_conn.Dispose()
но бл чота никуя не быстро...
...
Рейтинг: 0 / 0
27.03.2023, 19:06
    #336334
Горбатый ёж
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет [игнорируется] 

Со стороны посгреса забирать ро линку будет проще, как мне кажется.
Но на одном проекте из оракла данные пентахой тащили, но там 16 тер было.
...
Рейтинг: 0 / 0
27.03.2023, 19:08
    #336335
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Горбатый ёж  27.03.2023, 19:06
[игнорируется]
Дед-Папыхтет [игнорируется] 

Со стороны посгреса забирать ро линку будет проще, как мне кажется.
Но на одном проекте из оракла данные пентахой тащили, но там 16 тер было.
Ну... сегодня 100тыс - 1 млн строк десяток таблиц... А вот завтра может быть и история сделок... то есть лучше сразу как то быстрое решение искать на перспективу... ну может действительно пентахо качну ща
...
Рейтинг: 0 / 0
27.03.2023, 19:21
    #336336
Кусь
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
...
Рейтинг: 1 / 0
Нравится: Дед-Папыхтет
27.03.2023, 19:33
    #336338
Артефакт
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
вот статейка гуглицо
https://habr.com/ru/company/postgrespro/blog/309490/
...
Рейтинг: 0 / 0
27.03.2023, 20:17
    #336364
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Кусь [игнорируется] , Артефакт [игнорируется] 
Ну это да - это линкованый сервер, в терминах постгри - дблинк. Да это норм по идее, я уже писал безы скорее всего не пропустят...
...
Рейтинг: 0 / 0
27.03.2023, 21:49
    #336423
Горбатый ёж
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  27.03.2023, 20:17
[игнорируется]
безы скорее всего не пропустят...
Тогда пентахо или подобное.
Заодно отработаешь сценарии постепенной заливки. Всё сразу не перетащишь всё равно, прлстой будет долгим.
...
Рейтинг: 0 / 0
28.03.2023, 06:40
    #336514
Redd
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Не понимаю, Лешка изучает яву со страшной силой 24/7, а программы писать не хочет! Вот это поворот. А как же миллионы зп рублей?!
...
Рейтинг: 0 / 0
28.03.2023, 06:47
    #336515
PaNik
Участник
[игнорирует гостей]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Redd  28.03.2023, 06:40
[игнорируется]
А как же миллионы зп рублей?!
Зависть, Саня, - плохое чувство.
...
Рейтинг: 0 / 0
28.03.2023, 07:08
    #336526
Redd
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
PaNik  28.03.2023, 06:47
[игнорируется]
Redd  28.03.2023, 06:40
[игнорируется]
А как же миллионы зп рублей?!
Зависть, Саня, - плохое чувство.
Это юмор такой
...
Рейтинг: 0 / 0
28.03.2023, 07:31
    #336533
ZаЛупина
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
беZ трусиков!
Кто чем делает миграцию данных из MSSQL в Postres?
PaNik  28.03.2023, 06:47
[игнорируется]
Redd [игнорируется] 

Зависть, Саня, - плохое чувство.
Redd - пидарас
...
Рейтинг: 0 / 0
28.03.2023, 07:43
    #336535
sergey11
Участник
[игнорирует гостей]
[заблокирован: 1 дн. 19 час. 2 мин.]
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Можно скриншоты экранов сделать, потом распознать чем-то вроде аби файнридера, потом отпарсить в дельфях и инсертом вставить.
...
Рейтинг: 1 / 0
Нравится: Дед-Папыхтет
28.03.2023, 07:44
    #336536
Redd
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
ZаЛупина  28.03.2023, 07:31
[игнорируется]
PaNik  28.03.2023, 06:47
[игнорируется]
Redd [игнорируется] 

Зависть, Саня, - плохое чувство.
Redd - пидарас
Сиди тихо в пидоровозе и не визжи, а то водителю скажу.
...
Рейтинг: 0 / 0
28.03.2023, 23:01
    #337209
megabyte
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных,
идейный укр, который родился не в России
иноагент, но без официального статуса
Рейтинг: 0 / 0
28.03.2023, 23:03
    #337210
Дед-Папыхтет
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
megabyte  28.03.2023, 23:01
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
Спроси, если не сложно
...
Рейтинг: 0 / 0
28.03.2023, 23:03
    #337211
megabyte
Участник
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Кто чем делает миграцию данных из MSSQL в Postres?
Горбатый ёж  27.03.2023, 19:06
[игнорируется]
Дед-Папыхтет [игнорируется] 

Со стороны посгреса забирать ро линку будет проще, как мне кажется.
Но на одном проекте из оракла данные пентахой тащили, но там 16 тер было.
У нас с Оракла конкретно либо Информатика, либо расширение в pg Oracle_fdw.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных,
идейный укр, который родился не в России
иноагент, но без официального статуса
Рейтинг: 0 / 0
Форумы / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres? / 26 сообщений из 89, страница 1 из 4
Целевая тема:
Создать новую тему:
Автор:
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]