|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Ну я вижу 3 пути указал выше... Ну рисовать микросервис для разовой загрузки глупо это как из пушки по воробьям... Как по мне самое простое 3 вариант - через файлы перегнать, но... в банке безопасники запрещают - типа не секурно и вообще нильзя - не объясним по чему, если сам не понимаешь, мы не виноваты что не понимаешь очевидного... можно конечно SSIS попробовать... чота бл попробовал - не видит дефалтово постгрес, создал даже ODBC DSN - тоже сука не видит ))) может какой ему драйвер специальный нужен? В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк меж мс-мс внутри сервера простая таблица - 0.1 сек переливается, в докер постгрес с помощью повершела - 3 минуты ))))))) ... |
|||
:
Нравится:
Не нравится:
|
|||
27.03.2023, 17:38 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
тоже любили коней? Была себе одна служба и работала она в рамках федерального округа. То есть в каждом федеральном округе своя служба со своими базами со своей автоматизацией и так далее. В рамках округа базы были разные, у кого-то распределённые, у кого-то централизованные, где-то была репликация, где-то не было, соответственно отчётность и учётность тоже сильно отличались. Решило руководство страны навести порядок в учёте, точнее если раньше службы брали деньги с клиентов себе, но часть переводили в бюджет, то теперь решили, что всё в бюджет, а на расходы службам по бюджетным заявкам возвращать. Для наведения порядка было решено в плане учёта ТМЦ, зарплаты и прочей бухгалтерии перейти на единую платформу с общей БД. Платформа эта 1С естественно. У нас в округе тоже уже перешли на 1С какую-то к тому моменту, что не отменяло перехода глобального на 1С-ERP. Дошло дело до выгрузки остатков ТМЦ из баз округов в общую ERPу. Естественно это уже когда процессы оттестированы, планы счетов вбиты и частично, точнее все новые проводки идут уже в общей системе. Но для построения отчётности надо же остатки все сгрузить. Собирается совещание. Вопрос хотели решить быстро и велели всем справочники номенклатуры выгрузить и нормас. Но тут выяснилось, как всегда внезапно, что справочника номенклатуры будет недостаточно, ибо ручка эрих краузе номенклатурно вроде бы одна, а вот в реализациях в округах этих ручек как у дурака фантиков, все эрих краузе, все внешне одинаковые, отличаются внезапно ценой. На каждую цену заводилась новая номенклатура, ну так вот. Естественно (на самом деле противоестественно) что у бухгалтера с головной свежеиспечённой организации возник вопрос почему цены на ручки разные, что за бардак и вообще это попахивает откатами всех расстрелять немедленно! Бухгалтеры на местах сказали, что это не бардак, а закупки в разные момент времени, ибо ручки не вечные и иногда (часто) приходится пополнять исчезающие запасы всей канцелярки, поэтому расстрелять надо сраных торгашей из миномётов! На совещании присутствовала наша сотрудница, программист, специалист по бухгалтерским программам и она предложила сделать выгрузку из нашей системы в их в нужном виде, передать специалистам головной организации по защищённым каналам передачи данных, а те в свою очередь загрузят. Но был нюанс, нужно было определиться с параметрами выверки, как быть уверенным, что перенеслось всё и корректно. Для этого надо было сформировать отчётные документы за истекший период на окружных базах и на центральной в разрезе округов, затем сравнить циферки. Ну как бы на мой взгляд оно логично. Была на дворе пятница. Далее был такой диалог. Главбух центрального аппарата: - Не надо выгрузки, мои девочки забьют всю номенклатуру руками, так будет надёжнее. Наша программист: - Но у нас например около 20 тысяч позиций номенклатуры, у других округов списки тоже немаленькие... - А ничего страшного, за выходные справятся. Вот так вот оно иногда (часто) бывает... ... |
|||
:
Нравится:
Не нравится:
|
|||
30.03.2023, 12:05 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
эксперты сказали что это не безопасно и всё - пиздарики Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши. ... |
|||
:
Изменено: 04.04.2023, 20:25 - PaNik
Нравится:
Не нравится:
|
|||
04.04.2023, 20:24 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
эксперты сказали что это не безопасно и всё - пиздарики Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши. ... |
|||
:
Изменено: 04.04.2023, 20:36 - Ифрит
Нравится:
Не нравится:
|
|||
04.04.2023, 20:33 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
безопасники - это чтобы тебе проблем создать Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации. Это же азбука информационной безопасности. ... |
|||
:
Нравится:
Не нравится:
|
|||
04.04.2023, 21:42 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
безопасники - это чтобы тебе проблем создать Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации. Это же азбука информационной безопасности. ... |
|
:
|
|
04.04.2023, 21:58 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Тема была перенесена из форума 'Просто Трёп'. ... |
|||
Администратор:
Тема была перенесена из форума 'Просто Трёп'.
Нравится:
Не нравится:
|
|||
02.05.2023, 17:46 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
выгружать из ms sql надо утилитой bcp. Не может быть чтобы в постгрее не было средства эти файлы загрузить. Может это : https://www.postgresql.org/message-id/CAKJS1f_7eVMOFKva wwQSjqVoAmHaMa0kP4gyz1tW_pVYtTfNw@mail.gmail.com ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2023, 14:25 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Ваши безопасники боятся сторонних утилит? Пиши свою. Формат файлов bcp совсем простой, там можно и csv. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2023, 14:34 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Ну в MS SQL есть средства миграции, вроде Integration Services. ... |
|||
:
Нравится:
Не нравится:
|
|||
10.07.2023, 19:30 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
На практике из MS SQL переносят или при помощи SSIS или tds_fdw. Хорошо если готовая схема в PostgreSQL уже есть. Данные нужно тащить вообще без индексов в целевых таблицах. Создавать их нужно потом. Ну в самом конце синхронизация последовательностей. ... |
|
Даже лютый зверь имеет каплю жалости. Я не имею - значит я не зверь.
:
|
|
18.02.2024, 00:57 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|||
---|---|---|---|
#18+
Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора. Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю! ) ... |
|||
Даже лютый зверь имеет каплю жалости. Я не имею - значит я не зверь.
:
Изменено: 21.02.2024, 21:55 - Тень на плетень
Нравится:
Не нравится:
|
|||
21.02.2024, 21:55 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора. Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю! ) ... |
|
:
|
|
21.02.2024, 22:00 |
|
Кто чем делает миграцию данных из MSSQL в Postres?
|
|
---|---|
#18+
Сегодня настроил мигратор для еще одного проекта. Но там миграция из Оракла. Там где то 1.5 терабайт. Нужно перенести максимум за 5 часов. По факту наверное часа 2 будет норм. Схемы на этот раз не было, но сгененрил шаблон через ora2pg. В основном были нужны ограничения и индексы. Перетаскивать данные буду через oracle_fdw примерно в 100 потоков, там у них 128 ядер. Так что мигрируем проекты как пирожки ... |
|
Даже лютый зверь имеет каплю жалости. Я не имею - значит я не зверь.
:
|
|
21.02.2024, 22:12 |
|
|
start [/forum/topic.php?fid=19&startmsg=338154&tid=8476]: |
0ms |
get settings: |
18ms |
get forum list: |
8ms |
check forum access: |
2ms |
check topic access: |
2ms |
track hit: |
31ms |
get topic data: |
15ms |
get forum data: |
2ms |
get page messages: |
1054ms |
get tp. blocked users: |
1ms |
others: | 12ms |
total: | 1145ms |
0 / 0 |