Google Cloud Composer Сервер обнаружил временную ошибку и не смог выполнить ваш запрос
После запуска в течение нескольких дней веб-интерфейс Google Cloud Composer бесконечно возвращает ошибку 502 Server:
Error: Server Error
The server encountered a temporary error and could not complete your request.
Please try again in 30 seconds.
Единственный способ исправить это - воссоздать среду Composer. Хотя после запуска в течение нескольких дней новая среда вылетает с той же ошибкой.
Версия изображения: composer-1.4.0-airflow-1.10.0
Версия Python: 3
Кто-нибудь знает, в чем причина?
1 ответ
Я не запускаю Cloud Composer, но подозреваю, что в этом случае веб-сервер вышел из всех потоков веб-рабочих. Иногда это может происходить, когда поток воздуха имеет расширенное время ожидания чтения или записи в базу данных; либо из-за удержанной блокировки, либо из-за проблем с сетевым подключением. Вероятно, он настроен на перезапуск, если он полностью завершается, но в некоторых случаях airflow webserver Команда все еще будет удерживаться без выхода, даже если все веб-работники вышли.
Альтернативно, 502 относится к провайдеру идентификации, реализованному для GCP. В этом случае вы можете обнаружить, что вам нужно выйти из своей учетной записи Google и использовать поток входа, предоставляемый Airflow (если он отвечает на сеанс приватного браузера или сеанс выхода из системы).
Я столкнулся с той же ошибкой 502, и это оказалось проблемой с самой DAG. Как уже упоминалось:
"Веб-сервер анализирует файлы определений DAG, и может произойти тайм-аут шлюза 502, если в DAG есть ошибки".
Видно в Composer / Monitoring
На веб-сервере возникла проблема с самой группой DAG. Мы решили эту проблему, удалив недавно добавленные DAG, через пару минут пользовательский интерфейс Airflow был открыт.