Выполните пользовательский запрос SQL с помощью Google Cloud Data Fusion
У меня есть конвейеры данных, которые состоят из нескольких SQL-запросов, выполняемых к таблицам BigQuery, я хотел бы построить их в Google Cloud Fusion, но я не вижу опции для преобразования / выбора с помощью пользовательского SQL.
это доступно, или я неправильно интерпретирую варианты использования этого инструмента?
1 ответ
Добавляется новый плагин Action, который позволит вам указать SQL для запуска в BQ. Ожидается, что разъемы будут доступны в Hub к середине мая.
Нитин
Теперь существует собственное действие BigQuery Execute, которое позволяет выполнять SQL-запросы как часть конвейера объединения данных.
Это задание является действием, см. Ниже официальную документацию:
Плагины действий определяют настраиваемые действия, которые запланированы для выполнения во время рабочего процесса, но не управляют напрямую данными в рабочем процессе. Например, используя настраиваемое действие базы данных, вы можете запустить произвольную команду базы данных в конце конвейера. Кроме того, вы можете инициировать действие для перемещения файлов в облачном хранилище.