Как выполнять одновременные загрузки потоковой передачи в Azure Synapse Analytics
У нас есть приложение, которое считывает данные из шины сообщений и загружает их в Azure Synapse Analytics. Существует несколько экземпляров приложения, и каждый экземпляр является многопоточным. Каждое обновление может иметь несколько сотен записей, а целевые таблицы - несколько миллионов записей.
Synapse не поддерживает операции MERGE. Мы ищем решение лучше, чем двухэтапное УДАЛЕНИЕ - ВСТАВКА. Мы рассмотрели решения, связанные с объединением таблиц и последующим переименованием таблиц, как это.
Однако все эти решения имеют проблемы с производительностью и / или параллелизмом.
Не могли бы вы порекомендовать решение для добавления в Azure Synapse Analytics из параллельных потоков данных.
Большое спасибо!