powered by simpleCommunicator - 2.0.29     © 2024 Programmizd 02
Map
Форумы / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres?
26 сообщений из 89, страница 1 из 4
Кто чем делает миграцию данных из MSSQL в Postres?  
    #336235
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кто чем делает миграцию данных из MSSQL в Postres?
Какие варианты есть?
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
Ну я вижу 3 пути указал выше...
Ну рисовать микросервис для разовой загрузки глупо это как из пушки по воробьям... Как по мне самое простое 3 вариант - через файлы перегнать, но... в банке безопасники запрещают - типа не секурно и вообще нильзя - не объясним по чему, если сам не понимаешь, мы не виноваты что не понимаешь очевидного...
можно конечно SSIS попробовать... чота бл попробовал - не видит дефалтово постгрес, создал даже ODBC DSN - тоже сука не видит ))) может какой ему драйвер специальный нужен?
В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк меж мс-мс внутри сервера простая таблица - 0.1 сек переливается, в докер постгрес с помощью повершела - 3 минуты )))))))
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336264
Помощник Менеджера
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Копал бы в сторону штатных конекторов, желательно со стороны постгриса
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336267
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Помощник Менеджера  27.03.2023, 18:07
[игнорируется]
Копал бы в сторону штатных конекторов, желательно со стороны постгриса
Всмысле, в постгрес заебенить dblink (linked server) на mssql? и скриптом заливать?
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336271
Помощник Менеджера
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  27.03.2023, 18:16
[игнорируется]
Помощник Менеджера  27.03.2023, 18:07
[игнорируется]
Копал бы в сторону штатных конекторов, желательно со стороны постгриса
Всмысле, в постгрес заебенить dblink (linked server) на mssql? и скриптом заливать?
Ну тип того, я пострес особо не ковырял, не знаю его возможностей
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336275
Помощник Менеджера
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336277
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336281
Фотография Green
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Green Привилегированный пользователь
Модератор форума
Я тут настраивал дружбу 1С с постгрессом, выяснил что постгрессы разных версий бывают, их по разному скомпилировать можно.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336288
Помощник Менеджера
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
А штатные какие то инструменты есть?
МС игнорит постгрес ?
Раньше к мсскл помнится целый кит шел довеском с хуевой тучей разных инструментов
...
https://dedoforum.ru/

Ну а что делать то
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336297
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Помощник Менеджера  27.03.2023, 18:29
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
А штатные какие то инструменты есть?
МС игнорит постгрес ?
Раньше к мсскл помнится целый кит шел довеском с хуевой тучей разных инструментов
У мс скл есть штатный SSIS - Integration Services, облегченный с клиентом в винде есть "мастер импорт-экспорт"
1.JPG
2.JPG
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336300
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
еще есть утилита bcp.exe - bulk copy program с командной строки можно выгрузить из бд в цсв... но безопасники не разрешают )))) вроде как самое простое.

Еще мысль была в мсскл сформировать запросом
не

select id, name from tbl

а

select 'insert tbl (id, name) values ('+id+','''+name+''')' from tbl - такую пердь на источнике...
и сохранить результат в файл )))
но когда десять млн строк... чота я сомневаюсь что постгрес сможет такой скрипт отработать ))))))))))

ну это еще хуже чем в цсв выгружать
...
Изменено: 27.03.2023, 18:38 - Дед-Папыхтет
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336305
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Я пока так заебенил... мс с дев контура, постгрес в докере локально - так тестю
Спойлер
Код: PowerShell
1.
2.
3.
4.
5.
6.
7.
8.
9.
10.
11.
12.
13.
14.
15.
16.
17.
18.
19.
20.
21.
22.
23.
24.
25.
26.
27.
28.
29.
30.
31.
32.
33.
34.
35.
36.
37.
38.
39.
40.
41.
42.
43.
44.
45.
46.
47.
48.
49.
50.
51.
52.
53.
54.
55.
cls
$src_server = "server-mssql"
$src_port = 1433
$src_db = "db1"
$src_uid = "user1"
$src_pwd = "password1"

$trg_server = "localhost"
$trg_port = 5442
$trg_db = "dbtest"
$trg_uid = "dbuser"
$trg_pwd = "password2"

$src_conn = New-Object System.Data.Odbc.OdbcConnection
$src_conn.ConnectionString = "Driver={SQL Server};Server=$src_server;Port=$src_port;Database=$src_db;Uid=$src_uid;Pwd=$src_pwd"
$src_conn.Open()

$trg_conn = New-Object System.Data.Odbc.OdbcConnection
$trg_conn.ConnectionString = "Driver={PostgreSQL UNICODE};Server=$trg_server;Port=$trg_port;Database=$trg_db;Uid=$trg_uid;Pwd=$trg_pwd;"

$SQL = "select distinct id from dbo.guide"
$src_da = New-Object System.Data.Odbc.OdbcDataAdapter($sql, $src_conn)
$src_dt = New-Object System.Data.DataTable
$count = $src_da.Fill($src_dt)
Write-Host "dbo.guide readed" $count "rows"

$d1 = (GET-DATE)
Write-Host "Start insert assets.assets - $d1"

$trg_conn.Open()
$sql = "insert into assets.assets (id) values (?)"
$command = New-Object System.Data.Odbc.OdbcCommand($sql, $trg_conn)
$command.Parameters.Add("id", [int]) | Out-Null
$command.Transaction = $trg_conn.BeginTransaction()

$loaded = 0

$src_dt | foreach {
    $command.Parameters["id"].Value = $_.id
    try {
        $command.ExecuteNonQuery() | Out-Null
        $loaded += 1
    } catch {}
}
$command.Transaction.Commit()
$d2 = (GET-DATE)
$duration = (New-Timespam –Start $d1 –End $d2)
Write-Host "Finish insert assets.assets - $d2"
$duration
Write-Host "dbo.guide writed" $count "rows"

$trg_conn.Close()
$src_conn.Close()
$trg_conn.Dispose()
$src_conn.Dispose()
но бл чота никуя не быстро...
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336334
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет [игнорируется] 

Со стороны посгреса забирать ро линку будет проще, как мне кажется.
Но на одном проекте из оракла данные пентахой тащили, но там 16 тер было.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336335
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Горбатый ёж  27.03.2023, 19:06
[игнорируется]
Дед-Папыхтет [игнорируется] 

Со стороны посгреса забирать ро линку будет проще, как мне кажется.
Но на одном проекте из оракла данные пентахой тащили, но там 16 тер было.
Ну... сегодня 100тыс - 1 млн строк десяток таблиц... А вот завтра может быть и история сделок... то есть лучше сразу как то быстрое решение искать на перспективу... ну может действительно пентахо качну ща
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336336
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 1 / 0
Нравится: Дед-Папыхтет
Кто чем делает миграцию данных из MSSQL в Postres?
    #336338
Артефакт
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
вот статейка гуглицо
https://habr.com/ru/company/postgrespro/blog/309490/
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336364
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кусь [игнорируется] , Артефакт [игнорируется] 
Ну это да - это линкованый сервер, в терминах постгри - дблинк. Да это норм по идее, я уже писал безы скорее всего не пропустят...
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336423
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  27.03.2023, 20:17
[игнорируется]
безы скорее всего не пропустят...
Тогда пентахо или подобное.
Заодно отработаешь сценарии постепенной заливки. Всё сразу не перетащишь всё равно, прлстой будет долгим.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336514
Redd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Не понимаю, Лешка изучает яву со страшной силой 24/7, а программы писать не хочет! Вот это поворот. А как же миллионы зп рублей?!
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336515
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Redd  28.03.2023, 06:40
[игнорируется]
А как же миллионы зп рублей?!
Зависть, Саня, - плохое чувство.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336526
Redd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PaNik  28.03.2023, 06:47
[игнорируется]
Redd  28.03.2023, 06:40
[игнорируется]
А как же миллионы зп рублей?!
Зависть, Саня, - плохое чувство.
Это юмор такой
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336533
ZаЛупина
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
беZ трусиков!
PaNik  28.03.2023, 06:47
[игнорируется]
Redd [игнорируется] 

Зависть, Саня, - плохое чувство.
Redd - пидарас
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #336535
sergey11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
[заблокирован: 1 дн. 17 час. 7 мин.]
Можно скриншоты экранов сделать, потом распознать чем-то вроде аби файнридера, потом отпарсить в дельфях и инсертом вставить.
...
Рейтинг: 1 / 0
Нравится: Дед-Папыхтет
Кто чем делает миграцию данных из MSSQL в Postres?
    #336536
Redd
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
ZаЛупина  28.03.2023, 07:31
[игнорируется]
PaNik  28.03.2023, 06:47
[игнорируется]
Redd [игнорируется] 

Зависть, Саня, - плохое чувство.
Redd - пидарас
Сиди тихо в пидоровозе и не визжи, а то водителю скажу.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337209
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных,
идейный укр, который родился не в России
иноагент, но без официального статуса
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337210
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
megabyte  28.03.2023, 23:01
[игнорируется]
Дед-Папыхтет  27.03.2023, 18:22
[игнорируется]
Помощник Менеджера  27.03.2023, 18:20
[игнорируется]
Кстати, вроде айтиклоб тут, он вроде спец по этой хуйне, вытащи его сюда, мож подскажет как кошернее тянуть данные с мсскл
Да я бл всяко уже пытаюсь )))) балкинсерт из мс в мс без файлов - быстро должно быть, но суко какой то скачаный драйвер одбц постгрес не поддерживает. этих драйверов дохера какие то платные какие то бесплатные... пробовать и эксперементировать можно год ))) а сделать надо ну за несколько дней )
Плохо искал. На прошлой работе какой-то odbc драйвер нашли. Правда мы только из Postgresql в MSSQL данные перегоняли.

Могу у разрабов спросить, что на текущем месте практикуется. Так то миграций у нас много сейчас с MSSQL на Postgresql.
Спроси, если не сложно
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337211
megabyte
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Горбатый ёж  27.03.2023, 19:06
[игнорируется]
Дед-Папыхтет [игнорируется] 

Со стороны посгреса забирать ро линку будет проще, как мне кажется.
Но на одном проекте из оракла данные пентахой тащили, но там 16 тер было.
У нас с Оракла конкретно либо Информатика, либо расширение в pg Oracle_fdw.
...
коротко о себе по версии дедофорумчан:
либераст, хохол, жыд, ЗОЖовец-наркоман на антидепрессантах, сталинист, протохохол, желающий поменять родных православных коррупционеров на иноземных,
идейный укр, который родился не в России
иноагент, но без официального статуса
Рейтинг: 0 / 0
26 сообщений из 89, страница 1 из 4
Форумы / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]