Возможно ли изменить или удалить строки из таблицы в наборе данных BigQuery с помощью конвейера Cloud Data Fusion?
У меня есть требование для построения панели инструментов Data Studio и использования данных из набора данных BigQuery.
Я импортировал свои данные в BQ, используя Data Fusion, с локального сервера MS SQL, и мне необходимо удалить последние 5 дней записей и импортировать новые обновленные записи за тот же промежуток времени поверх записей в набор данных BQ...
До сих пор я был в состоянии выполнить всю работу с конвейером, но когда я запускаю конвейер, он снова добавляет данные в таблицу BQ, и в результате я получаю дубликаты данных.
Я ищу способ сделать некоторые манипуляции с данными в BQ, прежде чем он получает новые данные из конвейера. Есть ли в Data Fusion что-нибудь, что может помочь с этим?
С уважением
1 ответ
Недавно мы добавили эту функцию в плагины Google-Cloud. Вы можете проверить изменения здесь - Google-Cloud-Plugin PR # 140. Вы можете подождать, пока выйдет более новая версия плагинов Google-Cloud, или вы можете создать ее локально и установить плагин в экземпляре Data Fusion, который вы тестируете.
Надеюсь это поможет.