Поток данных ограничен ~15 импортированными наборами данных

Question

Я хотел бы поделиться одним из моих выводов относительно ограничений продукта dataprep.

Я занимался конструированием потоков, в которых мне нужно было объединить несколько json-файлов перед дальнейшей обработкой. Затем потоки объединяются через наборы ссылочных данных в конце.

После значительной борьбы я заметил, что когда общее количество json-файлов, используемых в качестве входных данных, меньше, чем около 15, можно запустить задание потока данных.

Однако превышение этого предела может привести к сбою без объяснения причин.

Было бы замечательно, если бы кто-то мог дать более глубокое понимание этой проблемы: * Почему существует такое ограничение? * Это еще одна проблема, которая может заставить меня думать, что есть ограничение? * Есть ли быстрый способ определить источники этих типов проблем / ошибок в dataprep? * Есть ли обходной путь для увеличения количества входных файлов?

Ура, Брэм

Answer 1

У меня была проблема с запуском заданий в dataprep, и она была решена

• отключение опции "Результаты профиля" на странице запуска.