Есть ли способ вызвать Bing-ads api через конвейер и загрузить данные в Bigquery через Google Data Fusion?

Question

Я создаю конвейер в Google Data Fusion, который позволяет мне экспортировать мои данные bing-объявлений в Bigquery, используя мой токен разработчика bing-ads. Я не смог найти источники данных, которые должны быть добавлены в мой конвейер при объединении данных. Поддерживается ли выборка данных из вызовов API даже в Google Data Fusion, и если да, то как это можно сделать?

Answer 1

Основанные на HTTP источники для Cloud Data Fusion в настоящее время находятся в разработке и будут выпущены Q3. Не могли бы вы подробнее рассказать о вашем сценарии использования, чтобы мы могли убедиться, что ваши плагины будут покрывать ваши требования? Например, вы хотите построить пакетный конвейер или конвейер в реальном времени?

Между тем, у вас есть два следующих, более непосредственных варианта / обходных пути:

1. Если вы согласны хранить данные в промежуточной области в GCS перед загрузкой их в BigQuery, вы можете использовать плагин HTTPToHDFS, который доступен в Hub. Используйте путь, начинающийся с gs:///path/to/file
2. Кроме того, мы также приветствуем вклады, поэтому вы также можете создать плагин с помощью API Cloud Data Fusion. Мы с радостью поможем вам с указанием документации и образцов.