Описание тега cdap

Описание тега Вопросы с тегом
1 ответ

CDAP с блоками данных Azure

Кто-нибудь пробовал использовать блоки данных Azure в качестве искрового кластера для обработки заданий CDAP. В документации по CDAP подробно описано, как добавить ее в Azure HDInsight, но просто интересно, есть ли способ настроить CDAP для указания…
09 янв '19 в 20:14
1 ответ

Преобразование Python в CDAP Tool

Я пытаюсь создать преобразование Python в CDAP, где я сталкиваюсь с проблемой ниже. Просим Вас проверить и сообщить мне обновление как можно скорее. Пожалуйста, найдите нижеприведенную проблему, используйте пример для справки. Проблема: настройка ст…
23 янв '19 в 13:13
1 ответ

Как отладить песочницу CDAP с IntelliJ на Mac

Я пытаюсь отладить код CDAP и код плагина Я пробовал несколько вариантов запуска песочницы CDAP: https://docs.cask.co/cdap/5.1.0-SNAPSHOT/en/developer-manual/getting-started/sandbox/docker.html Песочница работает и полные журналы говорят, что порт 5…
25 окт '18 в 15:35
1 ответ

Службы Cask CDAP запущены, но не работают во время установки

После просмотра документации по установке CDAP в системе MapR (v6.0) и запуску служб cdap, я обнаружил, что некоторые службы CDAP не запускаются после запуска ( https://docs.cask.co/cdap/current/en/admin-manual/installation/mapr.html), несмотря на т…
23 ноя '18 в 23:34
1 ответ

Процесс установки cloudera и кластеризация в локальной сети

Как установить cloudera в локальной системе. Я использую centos 6.5. И также я хочу сделать кластеризацию в cloudera . Любой предлагает мне некоторую документацию для этого процесса правильно
30 окт '18 в 06:33
1 ответ

Как удалить временные файлы из CDAP?

Я использую сервер CDAP для 24x7. Но после 5 дней непрерывной работы сервер перезапускается из-за нехватки памяти. CDAP: sandboxОПЕРАЦИОННЫЕ СИСТЕМЫ: UBUNTUCDAP версия: 5.0.0
28 янв '19 в 06:43
1 ответ

Как редактировать ранее введенные директивы?

Я новичок в CDAP / Data Fusion. Я создал препарат / спорщик, который включает в себя набор директив. Я обнаружил, что теперь хочу отредактировать эти ранее введенные директивы, но не могу понять, как выполнить эту задачу. Например, на следующем сним…
20 апр '19 в 16:06
1 ответ

Проблема с разрешением хранилища Cloud Data Fusion

Я только что установил Cloud Data Fusion и получаю эту ошибку, когда пытаюсь исследовать корзину "Cloud Storage Default". Как это исправить? cloud-datafusion-management-sa@xxxxxxxxxxxx-tp.iam.gserviceaccount.com does not have storage.buckets.list ac…
11 апр '19 в 23:51
1 ответ

Google Fusion Pipe не пишет ни в один из компонентов

Я новичок в Google Fusion и начал создавать линию, где источником является файл, находящийся в хранилище и записывающий в хранилище данных Google. Мой конвейер работает без ошибок, но я не вижу, как создается таблица в хранилище данных. Какие свойст…
24 апр '19 в 21:19
2 ответа

Как использовать Custom Transform в Wrangler?

Я пытаюсь использовать пользовательское преобразование, используя столбец в Wrangler Plugin. Есть ли документация, где я могу найти список функций для применения пользовательского преобразования? Также для конкретного случая я хочу заменить значение…
26 апр '19 в 10:27
1 ответ

Есть ли способ вызвать Bing-ads api через конвейер и загрузить данные в Bigquery через Google Data Fusion?

Я создаю конвейер в Google Data Fusion, который позволяет мне экспортировать мои данные bing-объявлений в Bigquery, используя мой токен разработчика bing-ads. Я не смог найти источники данных, которые должны быть добавлены в мой конвейер при объедин…
09 май '19 в 06:16
2 ответа

Как просмотреть данные в файле JSON, который находится в GCS?

Я играю с Google Data Fusion в первый раз (он был выпущен в бета-версии около 4 часов назад), и первое, что я пытаюсь сделать, это что-то довольно тупое - прочитать содержимое файла JSON, который находится в GCS ведро. Источник GCS кажется очевидной…
10 апр '19 в 21:58
2 ответа

Как передать файл схемы в виде макросов в приемник BigQuery при объединении данных

Я создаю конвейер слияния данных для загрузки данных CSV из GCS в BigQuery для моего случая использования, мне нужно создать макросы свойств и предоставить значение во время выполнения. Необходимо понять, как мы можем передать файл схемы в виде макр…
23 май '19 в 09:42
1 ответ

Поддерживает ли CDAP несколько входов в плагинах SparkCompute и SparkSink?

Я ищу способ реализации плагина SparkCompute (или SparkSink), который использует несколько входов. Глядя на интерфейс, оба SparkCompute а также SparkSink Плагины ограничены, чтобы потреблять только один. Это выдержка из io.cdap.cdap.etl.api.batch.Sp…
22 май '19 в 18:26
1 ответ

CDAP преобразует даты в этом формате "/Date(1577746800000+0100)/" в простую дату

Здравствуйте, я хотел бы преобразовать даты в этом формате / Дата (1577746800000+0100)/ в простую дату с использованием CDAP. кто-нибудь может мне помочь? Спасибо пример даты /Date(1577746800000+0100)/ /Date(1570572000000+0200)/ /Date(1558821600000+…
29 июн '19 в 17:22
1 ответ

Директива поиска таблицы не может найти существующую таблицу, где подготовка данных

Привет: я новичок в использовании CDAP(Cask™ Data Application Platform). Я проанализировал файл states.json и успешно написал набор данных таблицы CDAP с именем "StateTableDataset1". Когда я выполняю состояние просмотра таблицы StateTableDataset1 на…
22 авг '19 в 13:08
1 ответ

Параметр подписки должен соответствовать шаблону ^projects/[^/]+subscription /[^/]+$

Я пытаюсь создать конвейер слияния данных, который извлекает данные из sub pub и используется проекция для преобразования сообщения в строку (как вы сказали), а затем передает его в GCS. однако, это дает мне ошибку: Параметр подписки должен соответс…
14 авг '19 в 10:04
1 ответ

Эквивалентно функции LEFT() в спорщике данных слияния облачных данных Google?

Мне нужно портировать рецепты из рецепта dataprep в обработчик конвейеров слияния данных. derive type: single value: LEFT(column3, 3) as: 'column3' Когда я вхожу в пользовательское преобразование, это дает мне ошибку: io.cdap.wrangler.expression.EL.…
23 авг '19 в 15:31
1 ответ

Возможно ли изменить или удалить строки из таблицы в наборе данных BigQuery с помощью конвейера Cloud Data Fusion?

У меня есть требование для построения панели инструментов Data Studio и использования данных из набора данных BigQuery. Я импортировал свои данные в BQ, используя Data Fusion, с локального сервера MS SQL, и мне необходимо удалить последние 5 дней за…
28 авг '19 в 20:02
1 ответ

Прием CDAP из PubSub

Я пытаюсь загрузить данные из сообщений PubSub в файлы GCS. Простой конвейер: исходник PubSub -> JSON Parser -> приемник GCS. Так как PubSub принимает только аргумент данных как utf-8, как я могу декодировать его в CDAP? Должен ли я создать собствен…
27 июл '19 в 19:52