pyspark.sql.utils.IllegalArgumentException при записи искрового фрейма данных в дельта-таблицу в Azure
Попытка вставить фрейм данных Spark после чтения из CSV в таблицу Azure Delta в пакетном режиме удаленно.
Ошибка ниже в этой строке для некоторых партий, но не
all-->>sparkDf.write.format("delta").mode("append").saveAsTable()
pyspark.sql.utils.IllegalArgumentException'>: 'requirement failed: Result for RPC Some(d9801020-d0ed-47fa-bb97-6eae664d8c76) lost, please retry your request.'
Любой вклад будет очень признателен. Спасибо.
-Карандаш