Слияние динамической схемы Parquet фабрики данных Azure
У меня есть несколько файлов Parquet в ADLS Gen2, файлы parquet имеют разные столбцы / схемы, но все разные схемы совместимы друг с другом. Когда я создаю набор данных в ADF, он обнаруживает только 26 столбцов из 68 (26 столбцов находятся в каждом файле паркета). Если я использую pyspark для чтения файлов, я могу использовать следующие строки для динамического объединения различных схем.
parquetFile = spark.read.option("mergeSchema", "true").parquet("./data/*/*/*/*/*/")
Есть ли способ иметь аналогичную настройку в фабрике данных Azure?
Спасибо и добрые пожелания