Описание тега google-pipelines

0 ответов

Как автоматически масштабировать конвейер потока данных google (потоковая передача)?

У нас есть потоковый конвейер, работающий в Google Dataflow. Он извлекает сообщение Pub/Sub и сохраняет его в BigQuery. По какой-то причине за последние несколько дней у нас есть отставание. Системное отставание показывает 9-15 часов. Я следую докум…