Как автоматически загрузить CSV-файл в облачную платформу Google?
Я новичок в GCP. Я хочу автоматически загружать CSV-файл в любой компонент облачной платформы Google, такой как Bigquery, Bigtable и т. Д. Я не хочу вручную работать над ежедневной загрузкой файла в GCP. Я хочу обрабатывать эту ручную работу автоматически GCP. Пожалуйста, предложите мне любой сценарий, чтобы я мог загрузить файл автоматически.
заранее спасибо
2 ответа
Основываясь на точном ответе Pentium, у вас также есть опция на следующей (бессерверной) линии конга:
GCS -> Cloud Functions -> Dataflow (template) -> BigQuery
Мы используем этот шаблон во многих наших проектах, и он прекрасно работает. Он управляется событиями, масштабируется PB, полностью автоматизирован и не требует операций.
У вас есть возможность наблюдать за уведомлением об изменении объекта в GCS. Поэтому, когда вы загружаете файл, вы можете сделать так, чтобы веб-крючок пинговал URL-адрес.
Затем вы можете настроить приложение App Engine или облачную функцию для выполнения импорта, и все это без сервера.