Программный запуск рабочего процесса AWS Lake Formation
В документации я не нашел упоминания о программном запуске рабочих процессов (например, для загрузки данных из СУБД в S3). Я также ничего не нашел в спецификации API AWS Lake Formation. Мы используем Airflow для планирования нашего конвейера ETL, и было бы неплохо, если бы мы могли запускать рабочий процесс через вызов API.
1 ответ
Решение
Lake Formation используется для указания разрешений для таблиц и столбцов в Glue Catalog. Он не управляет ETL. Вы можете использовать Glue, чтобы настроить поисковые роботы для загрузки данных из СУБД. Поисковый робот может быть частью рабочего процесса Glue.
Справочные ссылки:
Документация по добавлению краулера для СУБД