Google Cloud Data Fusion - внезапная остановка инициализации Dataproc без какого-либо сообщения об ошибке

Question

Я разработал простой конвейер для чтения CSV-файла из облачного хранилища и записи в таблицу BigQuery. Во время работы конвейера операция резко останавливается без каких-либо сообщений об ошибках в журналах. Уже требуются правила брандмауэра. Пожалуйста, предложите, как подойти к этому.

Answer 1

Я думаю, это может быть связано с проблемой квоты кластера dataproc. Когда конвейер запускается в облачном хранилище данных, профиль по умолчанию раскручивает кластер dataproc с x числом рабочих узлов. Это было по умолчанию до 10 на некоторое время. Это может быть источником проблемы для этого сбоя, но потребуется дополнительная информация для подтверждения, если это так.

@Safiyur пару вопросов,

1. Не могли бы вы сказать мне, когда этот экземпляр был запущен?
2. Чтобы проверить, перед запуском конвейера вы можете настроить профиль на 3 рабочих узла. Это необходимо для того, чтобы убедиться, что это даже является причиной сбоя (Конфигурировать -> Вычислить конфигурацию -> Настроить)
3. Не могли бы вы также проверить журналы главной службы, чтобы увидеть (Cloud Data Fusion -> System Admin), если есть какие-либо ошибки, связанные с выполнением конвейера?
4. Не могли бы также указать, какие правила брандмауэра вы добавили? (Это основано на документах

Замечания:

Во время работы конвейера операция резко останавливается без каких-либо сообщений об ошибках в журналах.

Исходя из этого, я предполагаю, что это логи конвейера, о которых вы говорите.