Описание тега gobblin
Apache Gobblin - это среда интеграции распределенных данных. Он упрощает общие аспекты интеграции больших данных, такие как прием данных, репликация, организация и управление жизненным циклом как для потоковых, так и для пакетных экосистем данных.
1
ответ
Ошибка: не удалось найти или загрузить основной класс org.apache.gobblin.runtime.cli.GobblinCli
Я новичок в гоблинах. Я собираю гобблинов из главной ветки инкубатора-гобблина на GitHub. Теперь я привожу пример википедии из руководства по началу работы, но получаю следующую ошибку. WARN: HADOOP_HOME is not defined. Gobblin Hadoop libs will be u…
31 янв '20 в 09:03
1
ответ
Ошибка Gobblin: - java.io.IOException: java.lang.ClassNotFoundException:
Я новичок в Gobblin и пытаюсь принять данные из Kafka в HDFS. Мне удалось успешно передать пример приема Kafka-HDFS. Но теперь мне нужно добавить в свою работу параметр раздела записи по времени. Я прошел через форум Google TimeBasedWriterPartitione…
25 май '20 в 11:27
0
ответов
Gobblin MapReduce преобразовал из protobuf в Parquet
Пытаюсь найти пример преобразования сообщений protobuf в паркет с помощью Gobblin. Невозможно найти. Scenario: - Kafka messages are in Protobuf - Gobblin Consumer: consumes protobuf from kafka and writes them as parquet into HDFS У среды выполнения …
17 дек '19 в 04:43
0
ответов
Gobblin: ошибка: java.io.IOException: не удалось зафиксировать состояние набора данных для некоторых наборов данных задания job_GobblinKafkaQuickStart
Я пытаюсь принять данные из темы kafka в hdfs, следуя https://gobblin.readthedocs.io/en/latest/case-studies/Kafka-HDFS-Ingestion/ шаги, которые я выполняю: начать зоопарк$ zookeeper-server-start.bat C:\Users\name\kafka_2.11-1.1.0\config\zookeeper.pr…
05 фев '20 в 11:42
1
ответ
Ошибка с примером KafkaHDFS: java.lang.NoSuchMethodError
У меня возникли проблемы с опробованием примера приема данных Kafka-HDFS. Я пробовал версии 0.10.0 и 0.14.0. Для версии 0.10.0 я использую готовый дистрибутив, а для версии 0.14.0 я сам сделал сборку, следуя инструкциям в файле README (одна проблема…
18 фев '20 в 14:07
0
ответов
Gobblin: csv to avro ОШИБКА: java.lang.IllegalStateException: это не массив JSON
Я пытаюсь загрузить файлы csv из локальной системы в hdfs в формате avro. Я начал с помощью gobblin-example/resources/main/csvToAvro.conf. что дает мне ошибку ниже. IST ERROR [TaskExecutor-1] org.apache.gobblin.runtime.Task 567 - Task task_lense_158…
06 мар '20 в 11:03
1
ответ
Метрики работы Gobblin не публикуют данные в InfluxDB
Я настроил файл.pull для создания и отправки показателей в InfluxDb для заданий источника, экстрактора и конвертера. Я пробовал с примером работы википедии. metrics.enabled=true metrics.report.interval=30000 metrics.reporting.influxdb.metrics.enable…
15 май '20 в 12:13
0
ответов
GobblinCli не загружается при выполнении команд cli
Я пытаюсь настроить гоблина на своем Mac. когда я запускаю cli run, получается ошибка ниже. Нужно ли нам что-то настраивать или настраивать перед запуском команд gobblin cli? $ bin/gobblin.sh cli run ls: apache-gobblin-incubating-sources-0.14.0/bin/…
04 июл '20 в 18:58
0
ответов
Сборка Gobblin завершилась с ошибкой TaskExecutionException
Я клонировал репозиторий apache gobblin из главной ветки и следовал инструкциям, приведенным здесь, для создания кода. Сборка завершается ошибкой TaskExecutionException для одной из задач. Кажется, эта задача не выполняется из-за исключения NullPoin…
05 сен '20 в 20:09
1
ответ
Ошибка сборки при установке gobblin
Я новичок в Гобблине. Я получаю сбой сборки при установке Gobblin. Ниже приведены выходные данные терминала: * Попробуйте: запустить с параметром --stacktrace, чтобы получить трассировку стека. Запустите с параметром --info или --debug, чтобы получи…
22 янв '20 в 14:32
1
ответ
Как отлаживать автономную отладку Gobblin?
Как запустить Gobblin в режиме отладки из IntelliJ IDE с помощью команды bin/gobblin-standalone.sh? В руководстве по началу работы предлагается, как запустить пример задания Gobblin, но неясно, как его отлаживать.
21 фев '20 в 08:49
1
ответ
Ошибка сборки Apache Gobblin
Я новичок в гоблинах. Я пытаюсь собрать дистрибутив, используя главную ветку проекта. Я получаю сообщение об ошибке при выполнении инструкции. FAILURE: Build failed with an exception. * Where: Script '/incubator-gobblin/gradle/scripts/globalDependen…
06 май '20 в 14:45
1
ответ
Не удалось определить зависимости задачи ':gobblin-distribution:buildDistributionTar'
Я новичок в гоблинах. Я скачал incubator-gobblin-gobblin_0.11.0. при установке gobblin на Windows 10, следуя инструкциям, приведенным здесь при выполнении./gradlew :gobblin-distribution:buildDistributionTar Я получаю результат ниже. FAILURE: Build f…
28 янв '20 в 16:31
1
ответ
Gobblin: java.lang.ClassNotFoundException: org.apache.gobblin.source.extractor.extract.jdbc.MysqlSource
Я пытаюсь использовать mysql для приема данных hdfs с помощью gobblin. При запуске mysql-to-gobblin.pull, используя следующие шаги: 1) запустить хадоуп:sbin\start-all.cmd 2) запустите службу mysql:sudo service mysql start 3) установите GOBBLIN_WORK_…
22 фев '20 в 12:54
1
ответ
ОШИБКА Gobblin: невозможно преобразовать поле: производный столбец водяного знака для значения:"abc" для записи:
Я пытаюсь получить данные из таблицы mysql в hdfs. но это дает мне ошибку ниже IST ERROR [TaskExecutor-0] org.apache.gobblin.runtime.Task [demo_user_1582873318919_0] 504 - Processing record incurs an unexpected exception: java.lang.RuntimeException:…
28 фев '20 в 16:27
0
ответов
Партонирование по времени с Гобблином
Я новичок в Gobblin и просматриваю документ Kafka в HDFS. Теперь я хочу изменить данный пример файла конфигурации задания, чтобы добавить параметр разделения по времени.Вот как я его модифицирую. Но это не писать ничего. job.name=GobblinKafkaQuickSt…
15 май '20 в 10:07
0
ответов
Попытка использовать Apache Gobblin для чтения данных Salesforce с использованием SOAP API вместо REST API
Я работаю над существующим инструментом (в значительной степени основанным на Apache Gobblin) для импорта данных из таблиц Salesforce клиентов в локальные базы данных MySQL (одна база данных для каждого клиента). Инструмент работает (как есть) для к…
17 авг '20 в 20:19
0
ответов
Версия артефакта не существует в репозитории Maven (kafka-schema-registry-client:jar:2.0.1)
Я работаю с Apache Gobblin, и мне нужно добавить в него специальные функции. Я выполнил инструкции на этом форуме Google и ответил на свой предыдущий вопрос. По сути, я создаю новый проект для пользовательской функции и использую Gobblin в качестве …
29 май '20 в 11:44
1
ответ
Ошибка преобразования Gobblin JSON в Avro без ошибки массива Json
Я новичок в Gobblin и пытаюсь прочитать сообщение JSON Kafka и преобразовать его в AVRO, а затем сохранить в HDFS. Моя текущая работа похожа на удар: job.name=GobblinKafkaQuickStart job.group=GobblinKafka job.description=Gobblin quick start job for …
19 май '20 в 14:34
1
ответ
Как настроить гобблина в windows? Какой должна быть версия gradle и gobblin?
Я пытаюсь настроить gobblin в своей системе, но столкнулся с проблемой при создании gradle. Какую версию gobblin и gradle мне нужно использовать? Ошибка:- Причина: org.gradle.api.plugins.UnknownPluginException: Плагин с идентификатором pegasus не на…
09 фев '21 в 06:04