Настроить Airflow Worker
Стек Airflow был настроен для использования CeleryExecutor на первом сервере, на котором есть redis, PostgreSQL, веб-сервер, планировщик, цветок и рабочий, запущенный Docker Compose. Эта настройка в настоящее время работает нормально, и работник может правильно выполнять запланированные задачи.
Согласно документации Airflow, второй рабочий может быть установлен на другом узле, установив Airflow и выполнив командуairflow worker. Здесь Airflow устанавливается в виртуальном окружении, используяpip install apache-airflow[celery]
Как вы предоставляете информацию этому рабочему экземпляру, чтобы он мог подключиться к брокеру Celery, запущенному на первой машине? Какие минимальные детали нужны этому работнику?
Я думаю, что работнику нужны детали вроде AIRFLOW__CORE__BROKER_URL а также AIRFLOW__CORE__RESULT_BACKEND, но как передать эту информацию второму исполнителю? Docker Compose не используется на этой второй машине, поэтому я не уверен, как настроить worker без Docker.