Проблема при записи в HDFS с использованием весенних данных hadoop

Question

Я пытался записать простой текст в HDFS, используя Spring Data Hadoop. Но я получаю неизвестную проблему при написании.

Исключение в потоке "main" org.springframework.data.hadoop.store.StoreException: выходной контекст хранилища еще не инициализирован; вложенное исключение: java.io.IOException: непредвиденный HTTP-ответ: code=404!= 200, op=GETFILESTATUS, сообщение = не найдено в org.springframework.data.hadoop.store.support.OutputStoreObjectSupport.getOutputContext(OutputStoreObjectSpp)) в org.springframework.data.hadoop.store.output.AbstractDataStreamWriter.getOutput(AbstractDataStreamWriter.java:131) в org.springframework.data.hadoop.store.output.TextFileWriter.write(TextFile.wave): TextFile mstack.app.MainApp.someMethod(MainApp.java:37) at com.mstack.app.MainApp.main(MainApp.java:32) Причина: java.io.IOException: Неожиданный ответ HTTP: code=404!= 200, op=GETFILESTATUS, сообщение = не найдено в org.apache.hadoop.hdfs.web.WebHdfsFileSystem.validateResponse(WebHdfsFileSystem.java:347) в org.apache.hadoop.hdfs.web.WebHdfsFileSystem.dfsFileSystem.ava доступ 200(90) в org.apache.hadoop.hdfs.web.WebHdfsFileSystem$AbstractRunner.runWithRetry(WebHdfsFileSystem.java:613) в org.apache.hadoop.hdfs.web.WebHdfsFileSystem$AbstractRunner.access$100(WebHdfsFileSystem.java:463) в org.apache.hadoop.hdfs.web.WebHdfsFileSystem$AbstractRunner$1.run(WebHdfsFileSystem.java:492) в java.security.AccessController.doative). javax.security.auth.Subject.doAs(Subject.java:422) в org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1657) в org.apache.hadoop.hdfs.web.WebHdfsFileSystem $ AbstractRunner. запустите (WebHdfsFileSystem.java:488) по адресу org.apache.hadoop.hdfs.web.WebHdfsFileSystem.getHdfsFileStatus(WebHdfsFileSystem.java:848) по адресу org.apache.hadoop.hdfs.web.WebHdfsFilesFileSystemFileSystem.Sile.Sile в org.apache.hadoop.fs.FileSystem.exists(FileSystem.java:1424) в org.springframework.data.hadoop.store.support.OutputStoreObjectSupport.findInitFiles(OutputStoreObjectSupport.java:111) atrag..store.support.OutputStoreObjectSupport.initOutputContext(OutputStoreObjectSupport.java:93) в org.springframework.data.hadoop.store.support.OutputStoreObjectSupport.getOutputContext(OutputStoreObjectSupport.java:133) ... еще 4 Причины: java.io.IOException: Тип содержимого "text/plain" несовместим с "application/json" (parsed="text/plain") в org.apache.hadoop.hdfs.web.WebHdfsFileSystem.jsonParse(WebHdfsFileSystem.java:320) в org.apache.hadoop.hdfs.web.WebHdfsFileSystem.validateResponse (WebHdfsFileSystem.java:34)

Мое приложение-context.xml:-

<?xml version="1.0" encoding="UTF-8"?>
<beans:beans xmlns="http://www.springframework.org/schema/hadoop"
    xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:beans="http://www.springframework.org/schema/beans"
    xmlns:hdp="http://www.springframework.org/schema/hadoop" xmlns:context="http://www.springframework.org/schema/context"
    xsi:schemaLocation="http://www.springframework.org/schema/beans http://www.springframework.org/schema/beans/spring-beans.xsd
    http://www.springframework.org/schema/context http://www.springframework.org/schema/context/spring-context.xsd
    http://www.springframework.org/schema/hadoop http://www.springframework.org/schema/hadoop/spring-hadoop.xsd">


    <hdp:configuration id="hadoopConfigBean">
        fs.defaultFS=${hdp.fs}
    </hdp:configuration>

    <context:annotation-config />
    <beans:bean id="textFileWriter"
        class="org.springframework.data.hadoop.store.output.TextFileWriter">
        <beans:constructor-arg index="0" ref="hadoopConfigBean"></beans:constructor-arg>
        <beans:constructor-arg index="1"
            type="org.apache.hadoop.fs.Path" value="/user/mhduser"></beans:constructor-arg>
        <beans:constructor-arg index="2" type="org.springframework.data.hadoop.store.codec.CodecInfo" >
        <beans:null></beans:null>
        </beans:constructor-arg>
    </beans:bean>

    <context:property-placeholder location="hadoop-configs.properties" />
</beans:beans>

Основной класс: -

public class MainApp {

    @Autowired
    TextFileWriter textFileWriter;

    public static void main(String[] args) {
        ApplicationContext context = new ClassPathXmlApplicationContext("/META-INF/spring/application-context.xml",
                MainApp.class);
        System.out.println("Context loaded...");
        MainApp obj = new MainApp();
        context.getAutowireCapableBeanFactory().autowireBean(obj);
        obj.someMethod();
    }

    private void someMethod() {
        try {
            textFileWriter.write("Something");
        } catch (IOException e) {
            e.printStackTrace();
        }
    }
}

Любая помощь будет оценена! Спасибо

Answer 1

У нас есть несколько примеров здесь https://github.com/spring-projects/spring-hadoop-samples. Ничего особенного в магазине не было, поэтому я создал простую суть, основанную на Spring Boot, которую можно запустить через CLI. https://gist.github.com/jvalkeal/8145f0618f25c1d25d19f4e1e89de1e6

Также стоит посмотреть, что мы делаем в модульных тестах https://github.com/spring-projects/spring-hadoop/tree/master/spring-hadoop-store/src/test/java/org/springframework/data/hadoop/store