Ускорить время обработки JoB
У меня есть образец (100 рядов) и три шага в моем рецепте; Когда я запускаю работу, чтобы загрузить данные в таблицу в BigQuery; создание таблицы занимает 6 минут. Замедленная съемка слишком длинна для простого процесса, подобного тому, который я тестирую. Я пытаюсь понять, есть ли способ ускорить работу. Измените некоторые настройки, увеличьте размер машины, запустите задание в определенное время и т. Д.
1 ответ
Если вы посмотрите в Google Cloud Platform -> Dataflow -> Your Dataprep Job, вы увидите диаграмму рабочего процесса, содержащую шаги вычисления и время вычисления. Для сложных потоков вы можете определить операции, которые требуют больше времени, чтобы знать, что нужно улучшить.
Для небольших работ нет особых улучшений, так как настройка среды занимает около 4 минут. С правой стороны вы можете увидеть "Истекшее время" (в реальном времени) и график времени, иллюстрирующий, сколько нужно для запуска и остановки работников.