Оценить ограниченные запросы API в Cloud Composer
Я планирую проект, в рамках которого я буду использовать API Reddit (с ограниченной скоростью) и хранить данные в GCS и BigQuery. Изначально облачные функции были бы выбором, но мне пришлось бы создать реализацию Datastore для управления "псевдо" очередью запросов и GAE для заданий cron.
Делать все в Dataflow не имеет смысла, потому что не рекомендуется делать внешние запросы (то есть запускать Reddit API) и постоянно запускать одно задание.
Могу ли я использовать Cloud Composer для чтения полей из Google Sheet, затем создать очередь запросов на основе Google Sheet, а затем попросить очередь задач выполнить эти запросы, сохранить их в GCS и загрузить в BigQuery?
1 ответ
Похоже на законный вариант использования Composer, кроме того, вы также можете использовать концепцию пула в Airflow для управления одновременными вызовами к одной и той же конечной точке (например, Reddit API).