Разделение данных при записи в дельта-приемник

Question

В потоке данных сопоставления Azure теперь есть возможность сохранять файлы в дельта-формате. Но это доступно только при выборе встроенного набора данных (без подписки на блоки данных). И когда набор данных приемника является встроенным набором данных, он не позволяет установить раздел на основе какого-либо столбца.

Я могу написать код pyspark, чтобы переписать дельта-таблицу с требуемым разделом. Но это повлечет за собой дополнительные расходы.

Что можно было бы обойти, чтобы получить хорошую производительность на дельта-данных?

Answer 1

Была проблема с пользовательским интерфейсом, которая была недавно исправлена ​​группой инженеров. Пока это не отразится на вашем конце.

В качестве обходного пути вы можете сделать следующее:

Опция 1 :

Вы можете изменить тип приемника на другой, например, на приемник текста с разделителями, и тогда вы должны увидеть ключевые столбцы в разделе «Разделение ключей». Затем снова переключите тип Sink на Delta.

Ссылка: https://docs.microsoft.com/en-us/answers/questions/599075/index.html

Вариант 2: вы можете включить разбиение на исходном конце.

Разделенные данные текли потоком. В результате мне удалось получить разделенные данные