Bash скрипт для вставки лога в таблицу BigQuery

Question

Я использую Matillion в качестве инструмента etl и пытаюсь открыть файлы журналов для пакетов / заданий и вывести их в таблицу BigQuery. Я надеялся использовать Bash Script Component, чтобы помочь мне в этом.

Таким образом, реализуя свой собственный журнал в работе с чем-то вроде следующего

echo “$(date) Starting” >> /tmp/logfile.log

Я хотел вставить это в мою таблицу ${tablename}

Спасибо

Answer 1

Я думаю, что компонент BigQuery в Matillion может вам помочь. есть некоторая конфигурация, хотя перед тем, как вы сможете установить связь между Matillion и GCP (я предполагаю, что вы используете Matillion для снежинки или Redshift) Вот часть конфигурации

Answer 2

Вы можете скопировать / переместить файл tmp в GCS в своем сценарии Bash и использовать GCS Load в конце задания.