Килин строит потоковую трансляцию из Кафки

Question

Нам не удалось построить потоковый куб на первом шаге: сохранить данные из kafka, это выходной журнал:

Counters: 12 
        Job Counters 
                Failed map tasks=4 
                Launched map tasks=4 
                Other local map tasks=3 
                Rack-local map tasks=1 
                Total time spent by all maps in occupied slots (ms)=10836 
                Total time spent by all reduces in occupied slots (ms)=0 
                Total time spent by all map tasks (ms)=10836 
                Total vcore-seconds taken by all map tasks=10836 
                Total megabyte-seconds taken by all map tasks=11096064 
        Map-Reduce Framework 
                CPU time spent (ms)=0 
                Physical memory (bytes) snapshot=0 
                Virtual memory (bytes) snapshot=0

Может кто-нибудь сказать мне, как это решить?

Answer 1

Я столкнулся с той же проблемой, когда запускаю сборку потокового куба kylin. Когда я открыл журнал пряжи, я увидел

Ошибка: java.lang.ClassNotFoundException: org.apache.kafka.clients.consumer.Consumer в java.net.URLClassLoader.findClass(URLClassLoader.java:381) в java.lang.ClassLoader.loadClass(ClassLoader.java:4) sun.misc.Launcher$AppClassLoader.loadClass(Launcher.java:331) в java.lang.ClassLoader.loadClass(ClassLoader.java:357) в org.apache.kylin.source.kafka.hadoop.KafkaInputFormat.createRecordReFor (. Java:107) в org.apache.hadoop.mapred.MapTask$NewTrackingRecordReader.(MapTask.java:515) в org.apache.hadoop.mapred.MapTask.runNewMapper(MapTask.java:758) в org.apache.hadoop.mapred.MapTask.run(MapTask.java:341) в org.apache.hadoop.mapred.YarnChild$2.run(YarnChild.java:164) в java.security.AccessController.doPrivileged(собственный метод) в javax.security.auth.Subject.doAs(Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1758) в org.apache.hadoop.mapred.YarnChild.main(YarnChild.java:158)`

Следуя инструкциям здесь, я установил KAFKA_HOME а затем перезапустил kylin, Там нет такого журнала.