Как автоматически масштабировать конвейер потока данных google (потоковая передача)?
У нас есть потоковый конвейер, работающий в Google Dataflow. Он извлекает сообщение Pub/Sub и сохраняет его в BigQuery. По какой-то причине за последние несколько дней у нас есть отставание. Системное отставание показывает 9-15 часов. Я следую документу здесь и добавляю следующие параметры:
--autoscaling_algorithm=THROUGHPUT_BASED
--max_num_workers=5
Однако это не похоже на создание нового конвейера. У нас есть pull Pub/Sub.