Ошибка построения потокового куба Apache kyline без счетчиков для задания
Я следую инструкциям по созданию потокового куба из
Килин Куб из Streaming (Кафка)
Все свойства установлены, как сказано на упомянутой странице.
Но пока запускаем построение куба. Не удается в шаге 1 Сохранить данные из Кафки
говоря:
org.apache.kylin.engine.mr.exception.MapReduceException: no counters for job job_1547096967734_0086
at org.apache.kylin.engine.mr.common.MapReduceExecutable.doWork(MapReduceExecutable.java:173)
at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:164)
at org.apache.kylin.job.execution.DefaultChainedExecutable.doWork(DefaultChainedExecutable.java:70)
at org.apache.kylin.job.execution.AbstractExecutable.execute(AbstractExecutable.java:164)
at org.apache.kylin.job.impl.threadpool.DefaultScheduler$JobRunner.run(DefaultScheduler.java:114)
at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:1149)
at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:624)
at java.lang.Thread.run(Thread.java:748)
Я видел, как Apache kylin cube не работает "нет счетчиков для работы"
Но вариант использования существует для обычного построения куба, а не для потоковой передачи через построение куба Кафки.
В mapred-root-historyserver.log ниже запись была замечена, похоже, не помогло.
2019-01-22 11:33:15,557 INFO org.apache.hadoop.mapreduce.v2.hs.CompletedJob:
Loading job: job_1547096967734_0087 from file:
hdfs://localhost:9000/tmp/hadoop-
yarn/staging/history/done_intermediate/root/job_1547096967734_0087-
1548149562328-root-Kylin_Save_Kafka_Data_kylin_streaming_cube_Step-
1548149585065-0-0-FAILED-default-1548149566816.jhist
2019-01-22 11:33:15,557 INFO org.apache.hadoop.mapreduce.v2.hs.CompletedJob:
Loading history file: [hdfs://localhost:9000/tmp/hadoop-
yarn/staging/history/done_intermediate/root/job_1547096967734_0087-
1548149562328-root-Kylin_Save_Kafka_Data_kylin_streaming_cube_Step-
1548149585065-0-0-FAILED-default-1548149566816.jhist]
2019-01-22 11:33:15,572 INFOorg.apache.hadoop.mapreduce.jobhistory.
JobSummary:jobId=job_1547096967734_0087,submitTime=1548149562328
,launchTime=1548149566816,firstMapTaskLaunchTime=1548149570064,
firstReduceTaskLaunchTime=0,finishTime=1548149585065,resourcesPerMap
=1024,resourcesPerReduce=0,numMaps=1,numReduces=0,user=root,queue=
default,status=FAILED,mapSlotSeconds=8,reduceSlotSeconds=0,jobName=
Kylin_Save_Kafka_Data_kylin_streaming_cube_Step
2019-01-22 11:33:15,572 INFO org.apache.hadoop.mapreduce.v2.hs.
HistoryFileManager: Deleting JobSummary file: [hdfs://localhost:9000/
tmp/hadoop-yarn/staging/history/done_intermediate/
root/job_1547096967734_0087.summary]
2019-01-22 11:33:15,574 INFO
org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager: Moving
hdfs://localhost:9000/tmp/hadoop-
yarn/staging/history/done_intermediate/root/job_1547096967734_0087-
1548149562328-root-Kylin_Save_Kafka_Data_kylin_streaming_cube_Step-
1548149585065-0-0-FAILED-default-1548149566816.jhist to
hdfs://localhost:9000/tmp/hadoop-
yarn/staging/history/done/2019/01/22/000000/job_1547096967734_0087-
1548149562328-root-Kylin_Save_Kafka_Data_kylin_streaming_cube_Step-
1548149585065-0-0-FAILED-default-1548149566816.jhist
2019-01-22 11:33:15,574 INFO
org.apache.hadoop.mapreduce.v2.hs.HistoryFileManager: Moving
hdfs://localhost:9000/tmp/hadoop-
yarn/staging/history/done_intermediate/root/job_1547096967734_0087_conf.xml
to hdfs://localhost:9000/tmp/hadoop-
yarn/staging/history/done/2019/01/22/000000/job_1547096967734_0087_conf.xml
2019-01-22 11:35:30,160 INFO org.apache.hadoop.mapreduce.v2.hs.JobHistory:
Starting scan to move intermediate done files
Это полностью вручную установленная среда kylin ниже приведены спецификации версии:
apache-hive-2.3.4-bin
apache-kylin-2.5.2-bin-hbase1x
hadoop-2.9.1
hbase-1.4.9
kafka_2.11-2.0.0
spark-2.3.2-bin-hadoop2.7
zookeeper-3.4.13
Любая помощь будет оценена.
3 ответа
Похоже, у вашей env есть проблема. Вы можете проверить больше журнала сообщения об ошибке. Вам лучше сослаться на последний документ http://kylin.apache.org/docs/tutorial/cube_streaming.html. И если вы хотите начать Kylin быстро. Рекомендуем вам опробовать Kylin или разработать его с помощью встроенной песочницы, такой как песочница HDP, и убедиться, что у нее есть как минимум 10 ГБ памяти.
Пожалуйста, проверьте работу MR для первого шага Кубинга на Пряже. В работе вы можете погрузиться в журнал каждого картостроителя, и тогда вы сможете увидеть некоторые исключения там. Обычно, возможная причина - "не удалось подключиться к Kafka", "не удалось загрузить клиентскую банку Kafka" и т. Д.
Мы смогли это исправить, предоставив kafka-client-2.0.0.jar в lib общей папки yarn. В качестве журнала заданий mapreduce говорится, что класс def не найден для kafka.