powered by simpleCommunicator - 2.0.40     © 2025 Programmizd 02
Форумы / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres?
13 сообщений из 89, страница 4 из 4
Кто чем делает миграцию данных из MSSQL в Postres?  
    #336235
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кто чем делает миграцию данных из MSSQL в Postres?
Какие варианты есть?
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
Ну я вижу 3 пути указал выше...
Ну рисовать микросервис для разовой загрузки глупо это как из пушки по воробьям... Как по мне самое простое 3 вариант - через файлы перегнать, но... в банке безопасники запрещают - типа не секурно и вообще нильзя - не объясним по чему, если сам не понимаешь, мы не виноваты что не понимаешь очевидного...
можно конечно SSIS попробовать... чота бл попробовал - не видит дефалтово постгрес, создал даже ODBC DSN - тоже сука не видит ))) может какой ему драйвер специальный нужен?
В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк меж мс-мс внутри сервера простая таблица - 0.1 сек переливается, в докер постгрес с помощью повершела - 3 минуты )))))))
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #338154
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  30.03.2023, 09:45
[игнорируется]
Кусь  30.03.2023, 00:09
[игнорируется]
anonymous  29.03.2023, 23:52
[игнорируется]
Кусь  29.03.2023, 23:40
[игнорируется]
тоже любили коней?
Наверное, медленно переносили данные между базами
Вбивали руками со скриншотов )
Смех смехом, а была история одна про это.
Была себе одна служба и работала она в рамках федерального округа. То есть в каждом федеральном округе своя служба со своими базами со своей автоматизацией и так далее. В рамках округа базы были разные, у кого-то распределённые, у кого-то централизованные, где-то была репликация, где-то не было, соответственно отчётность и учётность тоже сильно отличались. Решило руководство страны навести порядок в учёте, точнее если раньше службы брали деньги с клиентов себе, но часть переводили в бюджет, то теперь решили, что всё в бюджет, а на расходы службам по бюджетным заявкам возвращать.
Для наведения порядка было решено в плане учёта ТМЦ, зарплаты и прочей бухгалтерии перейти на единую платформу с общей БД. Платформа эта 1С естественно. У нас в округе тоже уже перешли на 1С какую-то к тому моменту, что не отменяло перехода глобального на 1С-ERP. Дошло дело до выгрузки остатков ТМЦ из баз округов в общую ERPу. Естественно это уже когда процессы оттестированы, планы счетов вбиты и частично, точнее все новые проводки идут уже в общей системе. Но для построения отчётности надо же остатки все сгрузить.
Собирается совещание. Вопрос хотели решить быстро и велели всем справочники номенклатуры выгрузить и нормас. Но тут выяснилось, как всегда внезапно, что справочника номенклатуры будет недостаточно, ибо ручка эрих краузе номенклатурно вроде бы одна, а вот в реализациях в округах этих ручек как у дурака фантиков, все эрих краузе, все внешне одинаковые, отличаются внезапно ценой. На каждую цену заводилась новая номенклатура, ну так вот. Естественно (на самом деле противоестественно) что у бухгалтера с головной свежеиспечённой организации возник вопрос почему цены на ручки разные, что за бардак и вообще это попахивает откатами всех расстрелять немедленно! Бухгалтеры на местах сказали, что это не бардак, а закупки в разные момент времени, ибо ручки не вечные и иногда (часто) приходится пополнять исчезающие запасы всей канцелярки, поэтому расстрелять надо сраных торгашей из миномётов!
На совещании присутствовала наша сотрудница, программист, специалист по бухгалтерским программам и она предложила сделать выгрузку из нашей системы в их в нужном виде, передать специалистам головной организации по защищённым каналам передачи данных, а те в свою очередь загрузят. Но был нюанс, нужно было определиться с параметрами выверки, как быть уверенным, что перенеслось всё и корректно. Для этого надо было сформировать отчётные документы за истекший период на окружных базах и на центральной в разрезе округов, затем сравнить циферки.
Ну как бы на мой взгляд оно логично.
Была на дворе пятница.
Далее был такой диалог.
Главбух центрального аппарата: - Не надо выгрузки, мои девочки забьют всю номенклатуру руками, так будет надёжнее.
Наша программист: - Но у нас например около 20 тысяч позиций номенклатуры, у других округов списки тоже немаленькие...
- А ничего страшного, за выходные справятся.
Вот так вот оно иногда (часто) бывает...
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #345043
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PaNik Привилегированный пользователь
Участник
[игнорирует гостей]
Ифрит  04.04.2023, 20:22
[игнорируется]
Горбатый ёж  29.03.2023, 15:43
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
эксперты сказали что это не безопасно и всё - пиздарики
Ну так пусть руководство и пишет, что озвученным требованиям соответствует только ручной перенос данных.
Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши.
как-то странно, безопасники - как раз и есть безопасные исполнители для разовых работ, недавно нужно было перенести дамп м/д общедоступной и секурной сетью, так вперёд, тащите по своим безопасным каналам... и перетащили ))
безопасники - это чтобы тебе проблем создать, видно ты не сталкивался
...
[Видеоклип: YouTube]
Изменено: 04.04.2023, 20:25 - PaNik
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #345078
Фотография Ифрит
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PaNik  04.04.2023, 20:24
[игнорируется]
Ифрит  04.04.2023, 20:22
[игнорируется]
Горбатый ёж  29.03.2023, 15:43
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
эксперты сказали что это не безопасно и всё - пиздарики
Ну так пусть руководство и пишет, что озвученным требованиям соответствует только ручной перенос данных.
Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши.
как-то странно, безопасники - как раз и есть безопасные исполнители для разовых работ, недавно нужно было перенести дамп м/д общедоступной и секурной сетью, так вперёд, тащите по своим безопасным каналам... и перетащили ))
безопасники - это чтобы тебе проблем создать, видно ты не сталкивался
ещё как, но иной раз (когда нужно сверху) можно и на этой кладбищенской кобыле покататься ))
...
Изменено: 04.04.2023, 20:36 - Ифрит
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #345252
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PaNik  04.04.2023, 20:24
[игнорируется]
безопасники - это чтобы тебе проблем создать
Конечно.
Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации.
Это же азбука информационной безопасности.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #345272
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
PaNik Привилегированный пользователь
Участник
[игнорирует гостей]
Горбатый ёж  04.04.2023, 21:42
[игнорируется]
PaNik  04.04.2023, 20:24
[игнорируется]
безопасники - это чтобы тебе проблем создать
Конечно.
Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации.
Это же азбука информационной безопасности.
ну работа у них такая
...
[Видеоклип: YouTube]
Рейтинг: 1 / 0
Нравится: Горбатый ёж
Администратор:
Тема была перенесена из форума 'Просто Трёп'.
Кто чем делает миграцию данных из MSSQL в Postres?
    #476573
Sparrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
выгружать из ms sql надо утилитой bcp. Не может быть чтобы в постгрее не было средства эти файлы загрузить.

Может это :
https://www.postgresql.org/message-id/CAKJS1f_7eVMOFKva wwQSjqVoAmHaMa0kP4gyz1tW_pVYtTfNw@mail.gmail.com
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #476581
Sparrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ваши безопасники боятся сторонних утилит? Пиши свою. Формат файлов bcp совсем простой, там можно и csv.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #476939
Фотография Green
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Ну в MS SQL есть средства миграции, вроде Integration Services.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #722482
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
На практике из MS SQL переносят или при помощи SSIS или tds_fdw.

Хорошо если готовая схема в PostgreSQL уже есть.

Данные нужно тащить вообще без индексов в целевых таблицах. Создавать их нужно потом. Ну в самом конце синхронизация последовательностей.
...
С уважением, КѢдра МiтрейЪ.
Рейтинг: 1 / 0
Нравится: megabyte
Кто чем делает миграцию данных из MSSQL в Postres?
    #725059
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора.

Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю! :))) )
...
С уважением, КѢдра МiтрейЪ.
Изменено: 21.02.2024, 21:55 - Тень на плетень
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #725062
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  21.02.2024, 21:55
[игнорируется]
Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора.

Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю! :))) )
Ты просто замечательный мужик.
Ленинград - Геленджик (Sziget 2013)
...
Рейтинг: 1 / 0
Нравится: Гарыныч
Кто чем делает миграцию данных из MSSQL в Postres?
    #725066
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
«Если русский человек скажет вам, что не любит Россию, не верьте ему. Он не русский.»
Ф.М. Достоевский
Сегодня настроил мигратор для еще одного проекта. Но там миграция из Оракла. Там где то 1.5 терабайт. Нужно перенести максимум за 5 часов. По факту наверное часа 2 будет норм. Схемы на этот раз не было, но сгененрил шаблон через ora2pg. В основном были нужны ограничения и индексы.

Перетаскивать данные буду через oracle_fdw примерно в 100 потоков, там у них 128 ядер.

Так что мигрируем проекты как пирожки :)))
...
С уважением, КѢдра МiтрейЪ.
Изменено: 21.02.2024, 22:12 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
13 сообщений из 89, страница 4 из 4
Форумы / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]