Дельта-таблицы Databricks зависают при приеме файла из S3
Я новичок в databricks и только что создал живые дельта-таблицы, чтобы получить 60 миллионов файлов json из S3. Однако скорость ввода (количество файлов, которые он считывает с S3) застряла на уровне около 8 записей в секунду, что очень мало для IMO. Я увеличил количество рабочих/ядер в моих дельта-таблицах, но скорость ввода осталась прежней.
Есть ли какая-либо конфигурация, которую я должен добавить, чтобы увеличить скорость ввода для моего конвейера?