Как настроить автоматический импорт в Google Data Prep?

Question

Как настроить автоматический импорт в Google Data Prep?

При использовании Google Data Prep я могу создавать автоматические расписания для запуска заданий, которые обновляют мои таблицы BigQuery.

Однако это кажется бессмысленным, если учесть, что данные, используемые в Prep, обновляются путем ручного перетаскивания CSV (или JSON, xlsx и т. Д.) В корзину для хранения данных.

Я пытался найти точный способ автоматического обновления этой корзины с помощью файлов, которые регулярно обновляются на моем ПК, но, похоже, нет лучшего решения, которое я мог бы найти.

Как нужно делать это эффективно и результативно?

1

python google-cloud-platform google-cloud-dataprep

Источник

user7542218 27 июн '18 в 10:05

1 ответ

Решение

Другие вопросы по тегам python google-cloud-platform google-cloud-dataprep

user9741888 13 июл '18 в 12:51 2018-07-13 12:51 · Accepted Answer · 2018-07-13 12:51

Итак, для загрузки файлов с вашего компьютера в Google Cloud Storage существует несколько возможностей. Если вы просто запускаете процесс демона, который обрабатывает любые изменения в этом общем каталоге, вы можете кодировать автоматическую загрузку на следующих языках: C#, Go, Java, Node.JS, PHP, Python или Ruby.

У вас есть несколько примеров кода для загрузки объектов, но имейте в виду, что есть также подробные ссылки на клиентские библиотеки Cloud Storage, и вы также можете найти ссылки на GitHub в разделе "Дополнительные ресурсы".