Добавить больше рабочих в задание потока данных на GCP

Я создаю поток данных, который импортирует CSV в BQ. Это прекрасно работает, но это занимает слишком много времени. Даже для очень маленьких файлов. Есть ли способ добавить больше работников на работу? maxNumWorkers всегда равно 1 по умолчанию.

Бр Крис

Источник

1 ответ

Решение

В первый раз, когда задание Dataflow было выполнено Dataprep, настройки будут настройками по умолчанию. Однако вы можете повторно запустить эти задания с другими параметрами напрямую из Dataflow, используя его шаблоны. Например, вы можете использовать REST API и использовать numWorkers поле, в котором указываются рабочие для выполнения задания, так как оно не указано, служба попытается выбрать разумное значение по умолчанию. Для получения дополнительной информации о REST API вы можете просмотреть этот документ.

Имейте в виду, что у него есть ограничения

Источник
Другие вопросы по тегам