Описание тега google-cloud-data-fusion
Google Cloud Data Fusion - это полностью управляемая облачная служба интеграции данных, которая помогает пользователям эффективно создавать конвейеры данных ETL/ELT и управлять ими. Data Fusion имеет визуальный интерфейс "укажи и щелкни", схемы преобразования и коннекторы, которые делают разработку конвейера ETL быстрой и простой. Cloud Data Fusion основан на проекте CDAP с открытым исходным кодом.
1
ответ
Как редактировать ранее введенные директивы?
Я новичок в CDAP / Data Fusion. Я создал препарат / спорщик, который включает в себя набор директив. Я обнаружил, что теперь хочу отредактировать эти ранее введенные директивы, но не могу понять, как выполнить эту задачу. Например, на следующем сним…
20 апр '19 в 16:06
1
ответ
Сбой задачи PROVISION в состоянии REQUESTING_CREATE
Я новичок в платформе GCP и пытаюсь создать простой рабочий процесс Data Fusion для загрузки таблицы BigQuery из текстового файла, который находится в корзине GCS. Рабочий процесс успешно развернут. Однако во время выполнения рабочего процесса на ша…
09 май '19 в 12:09
2
ответа
Как настроить Google Ads в качестве источника конвейера Cloud Data Fusion?
Я пытаюсь внедрить данные своей учетной записи Google Ads в конвейер Cloud Data Fusion, но вижу только 12 доступных источников (BigQuery, Amazon S3, File, Excel, Kafka Consumer и т. Д.) Кто-нибудь знает, есть ли способ подключиться напрямую через AP…
16 май '19 в 15:25
1
ответ
Проблема с разрешением хранилища Cloud Data Fusion
Я только что установил Cloud Data Fusion и получаю эту ошибку, когда пытаюсь исследовать корзину "Cloud Storage Default". Как это исправить? cloud-datafusion-management-sa@xxxxxxxxxxxx-tp.iam.gserviceaccount.com does not have storage.buckets.list ac…
11 апр '19 в 23:51
3
ответа
Cloud Data Fusion Wrangler застрял на включении
Пытаясь поиграть с Data Fusion, но Wrangler застрял на включении: ht tps:https://stackru.com/images/bfe9d7244aa81d05fa67717396eab1b1a5824083.png Если посмотреть на панель инструментов, статус службы Dataprep будет красным: ht tps:https://stackru.com…
12 апр '19 в 11:43
2
ответа
Как запланировать конвейер Google Data Fusion?
Я развернул простой конвейер Data Fusion, который читает из GCS и записывает в таблицу BigQuery. Я ищу способ составления графика трубопровода, но не могу найти соответствующие документы. Может кто-нибудь указать мне на документацию / страницы, кото…
17 апр '19 в 11:26
1
ответ
Как получить доступ к REST API в управляемой версии
Я использую корпоративный экземпляр CDF. Я не могу понять, как вызывать API-интерфейсы CDF для запуска конвейера из Airflow.
17 апр '19 в 16:31
1
ответ
Выполните пользовательский запрос SQL с помощью Google Cloud Data Fusion
У меня есть конвейеры данных, которые состоят из нескольких SQL-запросов, выполняемых к таблицам BigQuery, я хотел бы построить их в Google Cloud Fusion, но я не вижу опции для преобразования / выбора с помощью пользовательского SQL. это доступно, и…
18 апр '19 в 10:52
1
ответ
Как объединить несколько файлов CSV с одинаковой структурой в Cloud Data Fusion?
Я новичок в облаке данных Fusion. Я хочу объединить два файла CSV. Два файла имеют одинаковый столбец. В Cloud Data Fusion я мог найти "объединяющего", но не функцию объединения. Может кто-нибудь сказать мне, как объединить несколько файлов CSV с од…
24 апр '19 в 07:50
2
ответа
Добавление дополнительных данных в Bigquery из MySql с использованием Cloud Data Fusion
Я хочу запланировать конвейер, который передает данные MySql в Google Bigquery, но полные данные добавляются к старой таблице в BQ, я хочу, чтобы добавлялись только добавочные данные...
24 апр '19 в 13:17
1
ответ
Подключение к облаку SQL MySQL
Мы хотели бы протестировать подключение Cloud SQL (mySQL) к BigQuery с помощью Cloud Data Fusion. Как правильно подключаться к CloudSQL, поскольку в данный момент он не "встроен". Какой драйвер рекомендуется и есть ли инструкции?
25 апр '19 в 19:33
1
ответ
Получение ошибки тайм-аута соединения при запуске простого конвейера слияния данных для экспорта данных из Bigquery и записи в GCS
Я пытаюсь использовать службу объединения данных Google, я создал простой конвейер, который будет извлекать данные из BigQuery и загружать эти данные обратно в GCS в формате json, но когда я запускаю конвейер, я получаю сообщение об ошибке ниже. jav…
26 апр '19 в 06:43
2
ответа
Как использовать Custom Transform в Wrangler?
Я пытаюсь использовать пользовательское преобразование, используя столбец в Wrangler Plugin. Есть ли документация, где я могу найти список функций для применения пользовательского преобразования? Также для конкретного случая я хочу заменить значение…
26 апр '19 в 10:27
1
ответ
Не удалось развернуть конвейер шаблона Cloud Data Fusion "Перенос данных из MySQL в Google BigQuery"
Я только что попробовал Cloud Data Fusion, Transfer Data From MySQL to Google BigQuery Шаблон конвейера. После настройки параметров я получил ошибку ниже при развертывании конвейера. Любой совет? Plugin named 'BigQueryTable' of type 'batchsink' not …
26 апр '19 в 12:38
3
ответа
Не удается подключить Cloud Data Fusion к Google Cloud SQL для PostgreSQL
Моя цель - читать данные из Cloud SQL Postgres в BigQuery через конвейер Cloud Data Fusion. Для этого я настроил экземпляр Cloud Data Fusion и назначил следующие два разрешения учетной записи службы: (см. https://cloud.google.com/data-fusion/docs/ho…
27 апр '19 в 12:33
1
ответ
Google Cloud Data Fusion - внезапная остановка инициализации Dataproc без какого-либо сообщения об ошибке
Я разработал простой конвейер для чтения CSV-файла из облачного хранилища и записи в таблицу BigQuery. Во время работы конвейера операция резко останавливается без каких-либо сообщений об ошибках в журналах. Уже требуются правила брандмауэра. Пожалу…
30 апр '19 в 13:26
1
ответ
Вывод файла CSV разделяется с помощью плагина Google Cloud Storage Sink
Я использовал Google Cloud Storage Plugin в категории Sink в конвейере, чтобы получить вывод в формате CSV. После выполнения конвейера полученный результат поступает в несколько файлов после разделения. Это правильное поведение этого плагина? если э…
01 май '19 в 13:33
1
ответ
BigQuery View не работает, если я использовал плагин BigQuery
Я использовал плагин bigquery в категории источников. Когда я использовал bigquery View, конвейер из-за ошибки не разрешал View. Кроме того, если я использовал постоянную таблицу, в которой существуют повторяющиеся столбцы, то это также из-за ошибки…
06 май '19 в 17:08
1
ответ
Google Cloud Data Fusion 1. Не подключается к оракулу 2. Когда конвейер работает, я получаю сообщение об ошибке сетевого порта "по умолчанию"
Я установил тонкий драйвер oracle-jdbc для подключения к On Premier Oracle DB, но при тестировании соединения я получаю сообщение об ошибке сетевого адаптера Я пытался изменить хост, но все же При запуске конвейера из GCS-BQ я получаю ошибку сетевог…
06 май '19 в 20:34
1
ответ
При запуске конвейера Data Fusion для загрузки CSV-файла из GCS в BigQuery, возникает проблема, связанная с депровизацией data-proc
Я использую Data Fusion для создания конвейера, который будет загружать данные CSV из GCS в BigQuery. Когда я делаю предварительный просмотр, он работает нормально. Но когда я развертываю конвейер, это дает мне ошибку ниже. ERROR io.cdap.cdap.intern…
07 май '19 в 16:55