java.lang.IllegalArgumentException: ожидается, что srcResourceIds и destResourceIds имеют одинаковую схему, но получили hdfs
Я пытаюсь читать из Кафки и писать в HDFS, используя Apache Beam с Spark Runner. Когда я запускаю его локально, он успешно работает без каких-либо исключений ошибок. --output=hdfs:///myhdfslocation тогда бросает ниже исключения
Исключение в потоке "main" org.apache.beam.sdk.Pipeline$PipelineExecutionException: java.lang.IllegalArgumentException: Expect srcResourceIds и destResourceIds имеют ту же схему, но получили hdfs, counts2018-06-28T12. в org.apache.beam.runners.spark.SparkPipelineResult.beamExceptionFrom(SparkPipelineResult.java:66) в org.apache.beam.runners.spark.SparkPipelineResult.access$000(SparkPipelineResult.java:41) в org.runners.spark.SparkPipelineResult$StreamingMode.stop(SparkPipelineResult.java:163) в org.apache.beam.runners.spark.SparkPipelineResult.offerNewState(SparkPipelineResult.java:198) в org.apun.spark.Park.Park.Park.Pipe.Pipe.waitUntilFinish(SparkPipelineResult.java:101) по адресу org.apache.beam.runners.spark.SparkPipelineResult.waitUntilFinish(SparkPipelineResult.java:87) по адресу org.apache.beam.examples.KafkaToHava.hdfs.Hafs.Hafs.Hdf..reflect.NativeMethodAccessorImpl.invoke0(собственный метод) в sun.reflect.NativeMethodAccessorImpl.invoke(NativeMethodAccessorImpl.java:62) в sun.reflect.DelegatingMethodAccessorImpl.invod.hoho.java.jj (Method.java:498) в org.apache.spark.deploy.SparkSubmit$.org$apache$spark$deploy$SparkSubmit$$runMain(SparkSubmit.scala:782) в org.apache.spark.deploy.SparkSubmit$.doRunMain$1(SparkSubmit.scala:180) в org.apache.spark.deploy.SparkSubmit$.submit(Spark.scala:205) в org.apache.spark.deploy.SparkSubmit$.main(SparkSubmit.scala:119) в org.apache.spark.deploy.SparkSubmit.main(SparkSubmit.scala). Причина: java.lang.IllegalArgumentException: Ожидайте, что srcResourceIds и destResourceIds имеют ту же схему, но получили hdfs, countts2018-06-28T12. в org.apache.beam.sdk.repackaged.com.google.common.base.Preconditions.checkArgument(Preconditions.java:122) в org.apache.beam.sdk.io.FileSystems.validateSrcDestLists(FileSystems.java:436) в org.apache.beam.sdk.io.FileSystems.copy(FileSystems.java:281) в org.apache.beam.sdk.io.FileBasedSink$WriteOperation.moveToOutputFiles(FileBasedSink.java:755) в org.apache.beam.sdk.io.WriteFiles$FinalizeTempFileBundles$FinalizeFn.process(WriteFiles.java:798) 18/06/28 05:44:35 INFO ShutdownHookManager: вызывается ловушка отключения 18/06/28 05:44:35 INFO ShutdownHookManager: удаление каталога / TMP / искровым 2d51df24-6661-4c07-8181-21629882fe7d
Я нашел похожий ответ на вопрос и ответ в Apache Beam: "Ожидайте, что srcResourceIds и destResourceIds имеют одинаковую схему, но получили hdfs, имя файла"
Но как-то не удалось решить мою проблему.. Если кто-то сталкивался с такой же проблемой и решил.. Пожалуйста, помогите