Время работы конвейера Delta Live Tables

Question

Новое в Databricks Delta Live Tables. Настройте мой первый конвейер для приема одного CSV-файла размером 26 МБ из большого двоичного объекта Azure, используя следующий код:

      import dlt
@dlt.table(
  comment="this is a test"
)
def accounts():
  return (
    spark.readStream.format("cloudFiles")
      .option("cloudFiles.format", "csv")
      .load("/mnt/mntname/")
  )

Он работает в течение 24 минут в расширенной версии продукта с конфигурацией искрового кластера со временем выполнения 10.4, 42 ГБ активной памяти, 12 ядрами и 2,25 активными DBU/час.

Это нормально, кажется очень медленно для такой небольшой нагрузки?