KiteSdk 1.1.0 csv-import IOError

Question

С HDP-2.5 на Ubuntu-14.04, запустив эту команду и

$ ./kite-dataset csv-import ./test.csv  test_schema

пытаясь import raw csv данные в Hive с помощью KiteSdk ver.1-1-0и имеющий следующую ошибку IOError:

Произошло 1 сбой (задания): org.kitesdk.tools.CopyTask: Kite(набор данных: файл:/tmp/444e6fc4-10e2-407d-afaf-723c408a6d... ID=1 (1/1)(1): java.io.FileNotFoundException: Файловый файл:/hdp/apps/2.5.0.0-1245/mapreduce/mapreduce.tar.gz не существует в org.apache.hadoop.fs.RawLocalFileSystem.deprecatedGetFileStatus(RawLocalFileSystem.java:624) в org.apache.hadoop.fs.RawLocalFileSystem.getFileLinkStatusInternal(RawLocalFileSystem.java:850) в org.apache.hadoop.fs.RawLocalFileSystem.getFileStatus(RawLocalFileSystem.java:614) в org.apache.eystemFileFileFile.File.java:125) в org.apache.hadoop.fs.AbstractFileSystem.resolvePath(AbstractFileSystem.java:468) в org.apache.hadoop.fs.FilterFs.resolvePath(FilterFs.java:158) в org.apache.hadoop.fs.FileContext$25.next(FileContext.java:2195) в org.apache.hadoop.fs.FileContext$25.next(FileContext.java:2191) в org.apache.hadoop.fs.FSLinkResolver.resolve(FSLinkResolver.java:90) на org.apache.hadoop.fs.FileContext.resolve(FileContext.java:2191) в org.apache.hadoop.fs.FileContext.resolvePath(FileContext.java:603) в org.apache.hadoop.mapreduce.JobSubmitter.addMRFrameworkToDistributedCache(JobSub457) at или JobSub457)..hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:142) в org.apache.hadoop.mapreduce.Job$10.run(Job.java:1290) в org.apache.hadoop.mapreduce.Job$10.run(Job.java:1287) в java.security.AccessController.doPrivileged(собственный метод) в javax.security.auth.Subject.doAs(Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1724) в org.apache.hadoop.mapreduce.Job.submit(Job.java:1287) в org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.CrunchControlledJob.submit(CrunchControlledJob.java:329) в org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.CrunchJobControl.startReadyJobs(CrunchJobControl.java:204) в org.apache.crunch.hadoop.mapreduce.lib.jobcontrol.Cunch_JobControl 238) в org.apache.crunch.impl.mr.exec.MRExecutor.monitorLoop(MRExecutor.java:112) в org.apache.crunch.impl.mr.exec.MRExecutor.access$000(MRExecutor.java:55) в org.apache.crunch.impl.mr.exec.MRExecutor$1.run(MRExecutor.java:83) в java.lang.Thread.run(Thread.java:745)

Я проверил файл "hdfs:/hdp/apps/2.5.0.0-1245/mapreduce/mapreduce.tar.gz"существует и не может понять, как решить эту ошибку в течение долгого времени.

Любая помощь с благодарностью.

Answer 1

Я столкнулся с той же ошибкой и решил ее, создав файл /hdp/apps/2.5.0.0-1245/mapreduce, а затем: cp /usr/hdp/current/hadoop-client/mapreduce.tar.gz /hdp/apps/2.5.0.0-1245/ MapReduce

После этого была создана новая ошибка:org.kitesdk.tools.CopyTask: Kite(набор данных: файл:/tmp/413a41a2-8813-4056-9433-3c5e073d80... ID=1 (1/1)(1): java.io.FileNotFoundException: файл не существует: hdfs://sandbox.hortonworks.com:8020/tmp/crunch-283520469/p1/REDUCE

Который я все еще пытаюсь устранить.

Answer 2

Я думаю, что вы получаете эту ошибку, так как вы используете версию Kite SDK 1.1.0. Я также получил похожую ошибку, когда я делал CSV-импорт. Когда я перешел на версию Kite SDK 1.0.0, такой ошибки не было.

Я бы предложил вам перейти на версию Kite SDK 1.0.0.

Более того, после версии 1.1.0 новой версии Kite SDK не было, и даже этот выпуск произошел в июне 2015 года.