Как обновить базу данных SQL Azure / таблицу хранилища данных с помощью Azure Databricks?
У меня есть требование в моем проекте, где я реализую таблицу SCD типа 2 в Azure SQL DW. Я могу вставить новые записи, используя JDBC-коннектор, но мне нужно обновить старые записи как "просроченные" и обновить другие записи в соответствии с обновленными значениями.
1 ответ
Рекомендуемый шаблон - использовать соединитель SQL DWG Azure Databricks для массовой загрузки промежуточной таблицы, либо записать новые данные в файлы в хранилище BLOB-объектов, либо выполнить передачу данных и использовать внешнюю таблицу Polybase для хранения новых строк.
Затем, как только новые данные будут загружены в промежуточную таблицу или доступны во внешней таблице Polybase, напишите хранимую процедуру TSQL, чтобы "обновить старые записи как" просроченные "и обновить другие записи в соответствии с обновленными значениями".