Добавление дополнительных данных в Bigquery из MySql с использованием Cloud Data Fusion
Я хочу запланировать конвейер, который передает данные MySql в Google Bigquery, но полные данные добавляются к старой таблице в BQ, я хочу, чтобы добавлялись только добавочные данные...
2 ответа
Вам нужна возможность "обновить, если есть" схему, которая в данный момент недоступна в плагине BQ. Мы работаем над обновлением плагина, чтобы иметь возможность его поддерживать (открыл JIRA https://issues.cask.co/browse/CDAP-15298). Кроме того, вы можете записывать его в отдельную таблицу при каждом запуске, а затем использовать "слияние" для обновления первичной таблицы. Открыл JIRA для добавления подключаемого модуля Action, который позволяет объединять таблицы ( https://issues.cask.co/browse/CDAP-15297)
Можно ли рассчитывать разницу для импорта каждый раз на основе столбца в ваших данных?