| 
 | 
| 
 
Кто чем делает миграцию данных из MSSQL в Postres?   
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Ну я вижу 3 пути указал выше... Ну рисовать микросервис для разовой загрузки глупо это как из пушки по воробьям... Как по мне самое простое 3 вариант - через файлы перегнать, но... в банке безопасники запрещают - типа не секурно и вообще нильзя - не объясним по чему, если сам не понимаешь, мы не виноваты что не понимаешь очевидного... можно конечно SSIS попробовать... чота бл попробовал - не видит дефалтово постгрес, создал даже ODBC DSN - тоже сука не видит ))) может какой ему драйвер специальный нужен? В общем пока ябуся с павершелом... загрузил в переменную resultset из запроса... и в таблицу построчно вставляю... Но чота блин 80 тыс строк меж мс-мс внутри сервера простая таблица - 0.1 сек переливается, в докер постгрес с помощью повершела - 3 минуты ))))))) ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 27.03.2023, 17:38 | 
  
  
  
   | 
||
| 
 
Кто чем делает миграцию данных из MSSQL в Postres? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  
тоже любили коней? Была себе одна служба и работала она в рамках федерального округа. То есть в каждом федеральном округе своя служба со своими базами со своей автоматизацией и так далее. В рамках округа базы были разные, у кого-то распределённые, у кого-то централизованные, где-то была репликация, где-то не было, соответственно отчётность и учётность тоже сильно отличались. Решило руководство страны навести порядок в учёте, точнее если раньше службы брали деньги с клиентов себе, но часть переводили в бюджет, то теперь решили, что всё в бюджет, а на расходы службам по бюджетным заявкам возвращать. Для наведения порядка было решено в плане учёта ТМЦ, зарплаты и прочей бухгалтерии перейти на единую платформу с общей БД. Платформа эта 1С естественно. У нас в округе тоже уже перешли на 1С какую-то к тому моменту, что не отменяло перехода глобального на 1С-ERP. Дошло дело до выгрузки остатков ТМЦ из баз округов в общую ERPу. Естественно это уже когда процессы оттестированы, планы счетов вбиты и частично, точнее все новые проводки идут уже в общей системе. Но для построения отчётности надо же остатки все сгрузить. Собирается совещание. Вопрос хотели решить быстро и велели всем справочники номенклатуры выгрузить и нормас. Но тут выяснилось, как всегда внезапно, что справочника номенклатуры будет недостаточно, ибо ручка эрих краузе номенклатурно вроде бы одна, а вот в реализациях в округах этих ручек как у дурака фантиков, все эрих краузе, все внешне одинаковые, отличаются внезапно ценой. На каждую цену заводилась новая номенклатура, ну так вот. Естественно (на самом деле противоестественно) что у бухгалтера с головной свежеиспечённой организации возник вопрос почему цены на ручки разные, что за бардак и вообще это попахивает откатами всех расстрелять немедленно! Бухгалтеры на местах сказали, что это не бардак, а закупки в разные момент времени, ибо ручки не вечные и иногда (часто) приходится пополнять исчезающие запасы всей канцелярки, поэтому расстрелять надо сраных торгашей из миномётов! На совещании присутствовала наша сотрудница, программист, специалист по бухгалтерским программам и она предложила сделать выгрузку из нашей системы в их в нужном виде, передать специалистам головной организации по защищённым каналам передачи данных, а те в свою очередь загрузят. Но был нюанс, нужно было определиться с параметрами выверки, как быть уверенным, что перенеслось всё и корректно. Для этого надо было сформировать отчётные документы за истекший период на окружных базах и на центральной в разрезе округов, затем сравнить циферки. Ну как бы на мой взгляд оно логично. Была на дворе пятница. Далее был такой диалог. Главбух центрального аппарата: - Не надо выгрузки, мои девочки забьют всю номенклатуру руками, так будет надёжнее. Наша программист: - Но у нас например около 20 тысяч позиций номенклатуры, у других округов списки тоже немаленькие... - А ничего страшного, за выходные справятся. Вот так вот оно иногда (часто) бывает... ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 30.03.2023, 12:05 | 
  
  
  
   | 
||
| 
 
Кто чем делает миграцию данных из MSSQL в Postres? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  эксперты сказали что это не безопасно и всё - пиздарики Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши. ...  | 
|||
| 
 В комнате моей туманы-маны... Взорвались кондёры хуанана ... 
: 
Изменено: 04.04.2023, 20:25 - PaNik 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 04.04.2023, 20:24 | 
  
  
  
   | 
||
| 
 
Кто чем делает миграцию данных из MSSQL в Postres? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  эксперты сказали что это не безопасно и всё - пиздарики Пусть набирают штат сотрудников для переноса и те будут тыкать клавиши. ...  | 
|||
| 
 : 
Изменено: 04.04.2023, 20:36 - Ифрит 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 04.04.2023, 20:33 | 
  
  
  
   | 
||
| 
 
Кто чем делает миграцию данных из MSSQL в Postres? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  безопасники - это чтобы тебе проблем создать Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации. Это же азбука информационной безопасности. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 04.04.2023, 21:42 | 
  
  
  
   | 
||
| 
 
Кто чем делает миграцию данных из MSSQL в Postres? 
 | 
|
|---|---|
| 
 #18+ 
    
  безопасники - это чтобы тебе проблем создать Потому что ты есть ни кто иной, как самая главная угроза безопасности. Ибо сказано, что основную угрозу составляет квалифицированный сотрудник организации, имеющий легальные доступы к информации. Это же азбука информационной безопасности. ...  | 
|
| 
 В комнате моей туманы-маны... Взорвались кондёры хуанана ... 
: 
 | 
|
| 04.04.2023, 21:58 | 
  
  
  
   | 
| 
 
Кто чем делает миграцию данных из MSSQL в Postres? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  выгружать из ms sql надо утилитой bcp. Не может быть чтобы в постгрее не было средства эти файлы загрузить. Может это : https://www.postgresql.org/message-id/CAKJS1f_7eVMOFKva wwQSjqVoAmHaMa0kP4gyz1tW_pVYtTfNw@mail.gmail.com ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 10.07.2023, 14:25 | 
  
  
  
   | 
||
| 
 
Кто чем делает миграцию данных из MSSQL в Postres? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Ваши безопасники боятся сторонних утилит? Пиши свою. Формат файлов bcp совсем простой, там можно и csv. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 10.07.2023, 14:34 | 
  
  
  
   | 
||
| 
 
Кто чем делает миграцию данных из MSSQL в Postres? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Ну в MS SQL есть средства миграции, вроде Integration Services. ...  | 
|||
| 
 : 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 10.07.2023, 19:30 | 
  
  
  
   | 
||
| 
 
Кто чем делает миграцию данных из MSSQL в Postres? 
 | 
|
|---|---|
| 
 #18+ 
    
  На практике из MS SQL переносят или при помощи SSIS или tds_fdw. Хорошо если готовая схема в PostgreSQL уже есть. Данные нужно тащить вообще без индексов в целевых таблицах. Создавать их нужно потом. Ну в самом конце синхронизация последовательностей. ...  | 
|
| 
 С уважением, КѢдра МiтрейЪ. 
: 
 | 
|
| 18.02.2024, 00:57 | 
  
  
  
   | 
| 
 
Кто чем делает миграцию данных из MSSQL в Postres? 
 | 
|||
|---|---|---|---|
| 
 #18+ 
    
  Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора. Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю!   )...  | 
|||
| 
 С уважением, КѢдра МiтрейЪ. 
: 
Изменено: 21.02.2024, 21:55 - Тень на плетень 
 Нравится:
      
  Не нравится:
      
  
   | 
|||
| 21.02.2024, 21:55 | 
  
  
  
   | 
||
| 
 
Кто чем делает миграцию данных из MSSQL в Postres? 
 | 
|
|---|---|
| 
 #18+ 
    
  Вчера участвовал в миграции одного проекта с MS SQL. Так вот, они мигрировали своим коробочным мигратором. Я только триггеры отрубил перед миграцией. Так что все может быть готово от вендора. Но скорость переноса данных - жесть. Это беда по моему всех миграторов. Как быстро переносить данные вообще мало кто знает. (Я знаю!   )...  | 
|
| 
 : 
 | 
|
| 21.02.2024, 22:00 | 
  
  
  
   | 
| 
 
Кто чем делает миграцию данных из MSSQL в Postres? 
 | 
|
|---|---|
| 
 #18+ 
    
  Сегодня настроил мигратор для еще одного проекта. Но там миграция из Оракла. Там где то 1.5 терабайт. Нужно перенести максимум за 5 часов. По факту наверное часа 2 будет норм. Схемы на этот раз не было, но сгененрил шаблон через ora2pg. В основном были нужны ограничения и индексы. Перетаскивать данные буду через oracle_fdw примерно в 100 потоков, там у них 128 ядер. Так что мигрируем проекты как пирожки ![]() ...  | 
|
| 
 С уважением, КѢдра МiтрейЪ. 
: 
 | 
|
| 21.02.2024, 22:12 | 
  
  
  
   | 
| 
 | 

start [/forum/topic.php?fid=19&gotolast=1&tid=8476]:  | 
    0ms | 
get settings:  | 
    10ms | 
get forum list:  | 
    13ms | 
check forum access:  | 
    4ms | 
check topic access:  | 
    4ms | 
track hit:  | 
    27ms | 
get topic data:  | 
    18ms | 
get forum data:  | 
    3ms | 
get page messages:  | 
    84ms | 
get tp. blocked users:  | 
    2ms | 
| others: | 28ms | 
| total: | 193ms | 

| 0 / 0 | 

    Извините, этот баннер — требование Роскомнадзора для исполнения 152 ФЗ.
    
    
    «На сайте осуществляется обработка файлов cookie, необходимых для работы сайта, а также для анализа использования сайта и улучшения предоставляемых сервисов с использованием метрической программы Яндекс.Метрика. Продолжая использовать сайт, вы даёте согласие с использованием данных технологий».
    
    
    ... ля, ля, ля ...