powered by simpleCommunicator - 2.0.31     © 2024 Programmizd 02
Форумы / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres?
13 сообщений из 89, страница 4 из 4
Кто чем делает миграцию данных из MSSQL в Postres?  
    #336235
Дед-Папыхтет
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Кто чем делает миграцию данных из MSSQL в Postres?
Какие варианты есть?
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
  
25,00 %
 1
Ну я вижу 3 пути указал выше...
Ну рисовать микросервис для разовой загрузки глупо это как из пушки по воробьям... Как по мне самое простое 3 вариант - через файлы перегнать, но... в банке безопасники запрещают - типа не секурно и вообще нильзя - не объясним по чему, если сам не понимаешь, мы не виноваты что не понимаешь очевидного...
можно конечно SSIS попробовать... чота бл попробовал - не видит дефалтово постгрес, создал даже ODBC DSN - тоже сука не видит ))) может какой ему драйвер специальный нужен?
В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк меж мс-мс внутри сервера простая таблица - 0.1 сек переливается, в докер постгрес с помощью повершела - 3 минуты )))))))
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #338154
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Дед-Папыхтет  30.03.2023, 09:45
[игнорируется]
Кусь  30.03.2023, 00:09
[игнорируется]
anonymous  29.03.2023, 23:52
[игнорируется]
Кусь  29.03.2023, 23:40
[игнорируется]
тоже любили коней?
Наверное, медленно переносили данные между базами
Вбивали руками со скриншотов )
Смех смехом, а была история одна про это.
Была себе одна служба и работала она в рамках федерального округа. То есть в каждом федеральном округе своя служба со своими базами со своей автоматизацией и так далее. В рамках округа базы были разные, у кого-то распределённые, у кого-то централизованные, где-то была репликация, где-то не было, соответственно отчётность и учётность тоже сильно отличались. Решило руководство страны навести порядок в учёте, точнее если раньше службы брали деньги с клиентов себе, но часть переводили в бюджет, то теперь решили, что всё в бюджет, а на расходы службам по бюджетным заявкам возвращать.
Для наведения порядка было решено в плане учёта ТМЦ, зарплаты и прочей бухгалтерии перейти на единую платформу с общей БД. Платформа эта 1С естественно. У нас в округе тоже уже перешли на 1С какую-то к тому моменту, что не отменяло перехода глобального на 1С-ERP. Дошло дело до выгрузки остатков ТМЦ из баз округов в общую ERPу. Естественно это уже когда процессы оттестированы, планы счетов вбиты и частично, точнее все новые проводки идут уже в общей системе. Но для построения отчётности надо же остатки все сгрузить.
Собирается совещание. Вопрос хотели решить быстро и велели всем справочники номенклатуры выгрузить и нормас. Но тут выяснилось, как всегда внезапно, что справочника номенклатуры будет недостаточно, ибо ручка эрих краузе номенклатурно вроде бы одна, а вот в реализациях в округах этих ручек как у дурака фантиков, все эрих краузе, все внешне одинаковые, отличаются внезапно ценой. На каждую цену заводилась новая номенклатура, ну так вот. Естественно (на самом деле противоестественно) что у бухгалтера с головной свежеиспечённой организации возник вопрос почему цены на ручки разные, что за бардак и вообще это попахивает откатами всех расстрелять немедленно! Бухгалтеры на местах сказали, что это не бардак, а закупки в разные момент времени, ибо ручки не вечные и иногда (часто) приходится пополнять исчезающие запасы всей канцелярки, поэтому расстрелять надо сраных торгашей из миномётов!
На совещании присутствовала наша сотрудница, программист, специалист по бухгалтерским программам и она предложила сделать выгрузку из нашей системы в их в нужном виде, передать специалистам головной организации по защищённым каналам передачи данных, а те в свою очередь загрузят. Но был нюанс, нужно было определиться с параметрами выверки, как быть уверенным, что перенеслось всё и корректно. Для этого надо было сформировать отчётные документы за истекший период на окружных базах и на центральной в разрезе округов, затем сравнить циферки.
Ну как бы на мой взгляд оно логично.
Была на дворе пятница.
Далее был такой диалог.
Главбух центрального аппарата: - Не надо выгрузки, мои девочки забьют всю номенклатуру руками, так будет надёжнее.
Наша программист: - Но у нас например около 20 тысяч позиций номенклатуры, у других округов списки тоже немаленькие...
- А ничего страшного, за выходные справятся.
Вот так вот оно иногда (часто) бывает...
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #345043
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Ифрит  04.04.2023, 20:22
[игнорируется]
Горбатый ёж  29.03.2023, 15:43
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
эксперты сказали что это не безопасно и всё - пиздарики
Ну так пусть руководство и пишет, что озвученным требованиям соответствует только ручной перенос данных.
Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши.
как-то странно, безопасники - как раз и есть безопасные исполнители для разовых работ, недавно нужно было перенести дамп м/д общедоступной и секурной сетью, так вперёд, тащите по своим безопасным каналам... и перетащили ))
безопасники - это чтобы тебе проблем создать, видно ты не сталкивался
...
Изменено: 04.04.2023, 20:25 - PaNik
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #345078
Фотография Ифрит
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PaNik  04.04.2023, 20:24
[игнорируется]
Ифрит  04.04.2023, 20:22
[игнорируется]
Горбатый ёж  29.03.2023, 15:43
[игнорируется]
Дед-Папыхтет  29.03.2023, 15:18
[игнорируется]
эксперты сказали что это не безопасно и всё - пиздарики
Ну так пусть руководство и пишет, что озвученным требованиям соответствует только ручной перенос данных.
Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши.
как-то странно, безопасники - как раз и есть безопасные исполнители для разовых работ, недавно нужно было перенести дамп м/д общедоступной и секурной сетью, так вперёд, тащите по своим безопасным каналам... и перетащили ))
безопасники - это чтобы тебе проблем создать, видно ты не сталкивался
ещё как, но иной раз (когда нужно сверху) можно и на этой кладбищенской кобыле покататься ))
...
Изменено: 04.04.2023, 20:36 - Ифрит
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #345252
Горбатый ёж
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
PaNik  04.04.2023, 20:24
[игнорируется]
безопасники - это чтобы тебе проблем создать
Конечно.
Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации.
Это же азбука информационной безопасности.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #345272
PaNik
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
[игнорирует гостей]
Горбатый ёж  04.04.2023, 21:42
[игнорируется]
PaNik  04.04.2023, 20:24
[игнорируется]
безопасники - это чтобы тебе проблем создать
Конечно.
Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации.
Это же азбука информационной безопасности.
ну работа у них такая
...
Рейтинг: 1 / 0
Нравится: Горбатый ёж
Кто чем делает миграцию данных из MSSQL в Postres?
    #378172
Администратор
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Администратор
Тема была перенесена из форума 'Просто Трёп'.
...
Администратор:
Тема была перенесена из форума 'Просто Трёп'.
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #476573
Sparrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
выгружать из ms sql надо утилитой bcp. Не может быть чтобы в постгрее не было средства эти файлы загрузить.

Может это :
https://www.postgresql.org/message-id/CAKJS1f_7eVMOFKva wwQSjqVoAmHaMa0kP4gyz1tW_pVYtTfNw@mail.gmail.com
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #476581
Sparrow
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Ваши безопасники боятся сторонних утилит? Пиши свою. Формат файлов bcp совсем простой, там можно и csv.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #476939
Фотография Green
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Модератор форума
Ну в MS SQL есть средства миграции, вроде Integration Services.
...
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #722482
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Даже лютый зверь имеет каплю жалости. Я не имею - значит я не зверь.
На практике из MS SQL переносят или при помощи SSIS или tds_fdw.

Хорошо если готовая схема в PostgreSQL уже есть.

Данные нужно тащить вообще без индексов в целевых таблицах. Создавать их нужно потом. Ну в самом конце синхронизация последовательностей.
...
Даже лютый зверь имеет каплю жалости. Я не имею - значит я не зверь.
Рейтинг: 1 / 0
Нравится: megabyte
Кто чем делает миграцию данных из MSSQL в Postres?
    #725059
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Даже лютый зверь имеет каплю жалости. Я не имею - значит я не зверь.
Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора.

Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю! :))) )
...
Даже лютый зверь имеет каплю жалости. Я не имею - значит я не зверь.
Изменено: 21.02.2024, 21:55 - Тень на плетень
Рейтинг: 0 / 0
Кто чем делает миграцию данных из MSSQL в Postres?
    #725062
Кусь
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Тень на плетень  21.02.2024, 21:55
[игнорируется]
Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора.

Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю! :))) )
Ты просто замечательный мужик.
Ленинград - Геленджик (Sziget 2013)
...
Рейтинг: 1 / 0
Нравится: Гарыныч
Кто чем делает миграцию данных из MSSQL в Postres?
    #725066
Тень на плетень
Скрыть профиль Поместить в игнор-лист Сообщения автора в теме
Участник
Даже лютый зверь имеет каплю жалости. Я не имею - значит я не зверь.
Сегодня настроил мигратор для еще одного проекта. Но там миграция из Оракла. Там где то 1.5 терабайт. Нужно перенести максимум за 5 часов. По факту наверное часа 2 будет норм. Схемы на этот раз не было, но сгененрил шаблон через ora2pg. В основном были нужны ограничения и индексы.

Перетаскивать данные буду через oracle_fdw примерно в 100 потоков, там у них 128 ядер.

Так что мигрируем проекты как пирожки :)))
...
Даже лютый зверь имеет каплю жалости. Я не имею - значит я не зверь.
Изменено: 21.02.2024, 22:12 - Тень на плетень
Рейтинг: 1 / 0
Нравится: Гарыныч
13 сообщений из 89, страница 4 из 4
Форумы / PostgreSQL [закрыт для гостей] / Кто чем делает миграцию данных из MSSQL в Postres?
Целевая тема:
Создать новую тему:
Автор:
Закрыть
Цитировать
Найденые пользователи ...
Разблокировать пользователей ...
Читали форум (0):
Пользователи онлайн (0):
x
x
Закрыть


Просмотр
0 / 0
Close
Debug Console [Select Text]