Как подключить CloverETL к Google Cloud Storage?
Я использую CloverETL Designer для операций ETL и хочу загрузить некоторые CSV-файлы из GCS на мой график Clover. Я использовал FlatFileReader и пытался получить файл, используя удаленный URL-адрес файла, но он не работает. Может кто-нибудь, пожалуйста, подробно описать весь процесс здесь??
Путь к файлу в GCS
https://storage.cloud.google.com/PATH/Write_to_a_file.csv
И мне нужно получить этот CSV-файл в FlatFileReader в CloverETL Designer
2 ответа
Вы должны использовать Google Cloud Storage API, чтобы получить файл; Clover-х HTTPConnector Компонент позволит вам передать соответствующие параметры, чтобы сделать запрос GET (вам, вероятно, сначала нужно будет выполнить аутентификацию OAuth2, чтобы получить токен), и отправить выходные данные локальному получателю, указанному в "URL-адресе выходного файла". Тогда вы можете использовать FlatFileReader читать из этого локального файла.
GCS имеет несколько различных способов загрузки файлов из ваших корзин. Вы можете использовать консоль и браузер Cloud Storage. Шаги: откройте браузер хранилища, перейдите к объекту, который вы хотите загрузить, щелкните правой кнопкой мыши и сохраните в выбранную локальную папку. Если вы используете Chrome, сохранение отображается как "Сохранить ссылку как…".
Чтобы использовать утилиту GS, используйте эту команду:
`gsutil cp gs://[BucketName]/[ObjectName] [ObjectDestination]`.
Или вы можете использовать клиентские библиотеки или API REST для загрузки файлов. С этими последними опциями вы можете работать с несколькими файлами или создавать задания для их загрузки. Как только они окажутся в месте, известном Clover ETL, процесс будет простым.
В дизайнере Clover под панелью навигации вы можете щелкнуть правой кнопкой мыши папку и выбрать импорт. Выберите тот, в который вы поместили свой файл GCS. Как только файл импортирован, вы можете использовать данные из него, как и любой другой файл данных в Clover. Поскольку это файл.csv, не забудьте отредактировать ваши метаданные (щелкните правой кнопкой мыши компонент, выберите извлечение метаданных, затем отредактируйте их в редакторе метаданных - для типов данных, меток и т. Д.) Назначьте метаданные краям ваших компонентов, чтобы они знали что входит / выходит из этого шага. В зависимости от вашего файла этот процесс может повторяться много раз.
Даже с помощью инструмента ETL получить правильные данные и типы данных может быть непросто. Если у вас есть вопросы о том, как настроить типы данных или ваши границы в проекте ETL, может помочь вики. В Интернете есть дополнительные ресурсы, которые могут помочь вам получить конечный анализ, который вы ищете.