powered by simpleCommunicator - 2.0.18     © 2024 Programmizd 02
Map
Форумы / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres?
25 сообщений из 89, страница 3 из 4
Кто чем делает миграцию данных из MSSQL в Postres?  
    #336235
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кто чем делает миграцию данных из MSSQL в Postres?
Какие варианты есть?
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
Ну я вижу 3 пути указал выше...
Ну рисовать микросервис для разовой загрузки глупо это как из пушки по воробьям... Как по мне самое простое 3 вариант - через файлы перегнать, но... в банке безопасники запрещают - типа не секурно и вообще нильзя - не объясним по чему, если сам не понимаешь, мы не виноваты что не понимаешь очевидного...
можно конечно SSIS попробовать... чота бл попробовал - не видит дефалтово постгрес, создал даже ODBC DSN - тоже сука не видит ))) может какой ему драйвер специальный нужен?
В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк меж мс-мс внутри сервера простая таблица - 0.1 сек переливается, в докер постгрес с помощью повершела - 3 минуты )))))))
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337744
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 14:22
[игнорируется]
миграция с мсскл - ссис у нас уже есть
Вопрос как связываться с получателем.
По моему опыту всякие ODBC, особенно некоммерческие, могут имет ограничения на предмет записи данных в удалённый приёмник, а вот с чтением как правило проблем очень мало. Так что если льёшь в посгрес, то и использовать надо средства посгреса.
ИМХО.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337745
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Горбатый ёж  29.03.2023, 15:37
[игнорируется]
Дед-Папыхтет  29.03.2023, 14:22
[игнорируется]
миграция с мсскл - ссис у нас уже есть
Вопрос как связываться с получателем.
По моему опыту всякие ODBC, особенно некоммерческие, могут имет ограничения на предмет записи данных в удалённый приёмник, а вот с чтением как правило проблем очень мало. Так что если льёшь в посгрес, то и использовать надо средства посгреса.
ИМХО.
ну можно всякие екстеншены поискать для постгри или написать скрипт на нем, он же поддерживает Java, Perl, Python, Ruby, Tcl, C/C++
...
Рейтинг: 1 / 0
Нравится: megabyte
Кто чем делает миграцию данных из MSSQL в Postres?
    #337746
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 15:16
[игнорируется]
1. несогласованный софт - типа пентахо или платная информатика - согласование через 7 кругов ада может длится полгода выступить на куче встреч и куче разных уровней начальникам доказать необходимость использования этого, далее проверка безов что это безопасно и банк не рискует ))))
2. уже безы запретили выгружать файлы и загружать - типа с мсскл в цсв выгрузить и в постгрес загрузить, всей истории не знаю да и насрать честно говоря, но что бы такое протолкнуть куча нервов своих, твоих руководителей и т.п. безопасники упёртые что пиздец.
3. дблинк или же линкед сервер по той же самой причине запретили.
Долбоебизм.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337748
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
эксперты сказали что это не безопасно и всё - пиздарики
Ну так пусть руководство и пишет, что озвученным требованиям соответствует только ручной перенос данных.
Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337753
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
anonymous  29.03.2023, 15:40
[игнорируется]
ну можно всякие екстеншены поискать для постгри
Если безопасность разрешит экстеншены, то у меня плохие новости про этих безопасников :D
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337755
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Горбатый ёж  29.03.2023, 15:46
[игнорируется]
anonymous  29.03.2023, 15:40
[игнорируется]
ну можно всякие екстеншены поискать для постгри
Если безопасность разрешит экстеншены, то у меня плохие новости про этих безопасников :D
ну тогда все ручками, чо
иначе все скрипты и опен софт запрещены)
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337792
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
А если посадить безопасников переносить данные руками из одной базы в другую? Уверен, это будет самый безопасный вариант. И чем больше привлеч безопасников, тем выше производительность такого решения.
...
Изменено: 29.03.2023, 17:25 - Кусь
Рейтинг: 6 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337815
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кусь  29.03.2023, 17:25
[игнорируется]
А если посадить безопасников переносить данные руками из одной базы в другую? Уверен, это будет самый безопасный вариант. И чем больше привлеч безопасников, тем выше производительность такого решения.
это самый действенный и быстрый способ получить добро от безопасников [:grin]
...
Рейтинг: 2 / 0
Нравится: Гарыныч, Кусь
Кто чем делает миграцию данных из MSSQL в Postres?
    #337827
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Красивенько получилось ))))
етл.JPG
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337828
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337831
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PaNik  29.03.2023, 18:25
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
Штааа?
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337832
sergey11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Дед-Папыхтет  29.03.2023, 18:37
[игнорируется]
PaNik  29.03.2023, 18:25
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
Штааа?
древесно-стружечная плита
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337833
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
красивое!
...
дед-пердед
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337834
Фотография Буся
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 18:37
[игнорируется]
PaNik  29.03.2023, 18:25
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
Штааа?
NDA
...
хвост есть продолжение кошки
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337835
Гарыныч
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей кроме]
Буся  29.03.2023, 18:46
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:37
[игнорируется]
PaNik  29.03.2023, 18:25
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
нет ли втут ДСП?
Штааа?
NDA
https://trends.rbc.ru/trends/social/62fcc7dc9a79473bc1f56270
...
дед-пердед
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337911
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
и чем это отличается от прямого линка? - ничем))
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337912
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
[не активирован]
[неодобрен]
anonymous  29.03.2023, 20:58
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
и чем это отличается от прямого линка? - ничем))
прямой линк СБ забороняє
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337913
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
anonymous  29.03.2023, 20:58
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
и чем это отличается от прямого линка? - ничем))
нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает...
у всяких подобных ЕТЛ программ есть неоспоримые преимущества.

1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно.
2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться.
3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка.

Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство...

Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом...
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337929
sergey11
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Дед-Папыхтет  29.03.2023, 21:05
[игнорируется]
anonymous [игнорируется] 

нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает...
у всяких подобных ЕТЛ программ есть неоспоримые преимущества.

1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно.
2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться.
3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка.

Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство...

Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом...
А что может смущать безопасников?
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337936
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  29.03.2023, 21:05
[игнорируется]
anonymous  29.03.2023, 20:58
[игнорируется]
Дед-Папыхтет  29.03.2023, 18:22
[игнорируется]
Красивенько получилось ))))
етл.JPG
и чем это отличается от прямого линка? - ничем))
нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает...
у всяких подобных ЕТЛ программ есть неоспоримые преимущества.

1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно.
2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться.
3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка.

Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство...

Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом...
в любом случае эта борода устанавливает 2 коннекта и гонит данные через некий "буфер", что проигрывает булку или прямому переносу
я ей пользовался, но удобно, когда надо либо быстро что-то набросать, либо создать некую схему порядков выполнения, условий и прочего
в постгрессе аналог булк инсерта есть при заливки из файлов, остальное обычный инсерт (сам не проверял, но на курсах так объясняли)
если же нужно лить большие таблицы на постоянной основе без каких-то изъебов я бы выбрал прямой линк или файлы csv

написанный скрипт в целом будет делать тоже самое
...
Изменено: 29.03.2023, 22:00 - anonymous
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337938
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
sergey11  29.03.2023, 21:44
[игнорируется]
Дед-Папыхтет  29.03.2023, 21:05
[игнорируется]
anonymous [игнорируется] 

нуууу это не прямой линк это как приложение тащит с источника и хуячит в приемник, если требуется преобразования делает...
у всяких подобных ЕТЛ программ есть неоспоримые преимущества.

1. визуальность мышкатыкание - для многих это минус, меня раздражало сильно писать не код а хуярить всё мышкой, но аналитикам такая визуальность по душе сильно.
2. очень легко параллелить процессы - прямоугольник куда не заходит стрелка независим от других подобных. Стрелка обозначает - порядок выполнения. Часто когда нужно загрузить несколько таблиц - их в таком пакете стартуешь не по порядку а одновременно. Ну на мой взгляд здесь проще, нежели в джаве городит потомки тредов и всяко извращаться.
3. быстрота переливки больших объемов - bulk insert поддержка - пакетная переливка.

Вообще SSIS, Pentahoo, Informatika примерно одна хуйня и назначение - переливка данных из источников в приемники... ну как бы специализированное средство...

Не факт что безопасники такое пропустят, если не пропустят ну перепишу скриптом...
А что может смущать безопасников?
любовь к коням
...
Рейтинг: 1 / 0
Нравится: Дед-Папыхтет
Кто чем делает миграцию данных из MSSQL в Postres?
    #337974
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
...
Рейтинг: 0 / 1
Не нравится: Королева Жезлов
Кто чем делает миграцию данных из MSSQL в Postres?
    #337977
anonymous
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кусь  29.03.2023, 23:40
[игнорируется]
тоже любили коней?
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #337982
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
anonymous  29.03.2023, 23:52
[игнорируется]
Кусь  29.03.2023, 23:40
[игнорируется]
тоже любили коней?
Наверное, медленно переносили данные между базами
...
Рейтинг: 1 / 1
Нравится: Дед-Папыхтет
Не нравится: Королева Жезлов
Кто чем делает миграцию данных из MSSQL в Postres?
    #338076
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кусь  30.03.2023, 00:09
[игнорируется]
anonymous  29.03.2023, 23:52
[игнорируется]
Кусь  29.03.2023, 23:40
[игнорируется]
тоже любили коней?
Наверное, медленно переносили данные между базами
Вбивали руками со скриншотов )
...
Рейтинг: 0 / 0
25 сообщений из 89, страница 3 из 4
Форумы / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали тему (1): Анонимы (1)
Игнорируют тему (1): erbol
Читали форум (1): Анонимы (1)
Пользователи онлайн (123): Анонимы (105), Yandex Bot, Sparrow, Antonariy, Буся, IT-Клоп 1 мин., basename 1 мин., S Baltiki 1 мин., unique 1 мин., sergey11 2 мин., Горбатый ёж 2 мин., Ветер 3 мин., Bing Bot 3 мин., битый 4 мин., Брюквенные годы 5 мин., pashtetos1 5 мин., Arn 6 мин., паразит 7 мин., Дед-Папыхтет 9 мин.
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]