Как настроить MultiOutputFormat из HCatalog API в проекте spring-hadoop?
Я разрабатывал приложение Hadoop. И теперь я хочу перенести его в проект Spring-Hadoop. Дело в моей работе в Mapreduce. Я использовал MultiOutputFormat из HCatalog API, поскольку я хочу хранить информацию в нескольких таблицах. И я не могу найти ни одного примера или документа о том, как настроить это в Spring Hadoop.
Может кто-нибудь сказать мне, как я могу сделать это или дать мне справочные материалы? Большое спасибо.
Я разрабатывал приложение Hadoop. И теперь я хочу перенести его в проект Spring-Hadoop. Дело в моей работе в Mapreduce. Я использовал MultiOutputFormat из HCatalog API, поскольку я хочу хранить информацию в нескольких таблицах. И я не могу найти ни одного примера или документа о том, как настроить это в Spring Hadoop.
Может кто-нибудь сказать мне, как я могу сделать это или дать мне справочные материалы? Большое спасибо.
@ Томас Рисберг Привет Томас, спасибо за ответ. Я понимаю, что весной hadoop нам просто нужно выполнить настройку работы в соответствующем XML-файле. В настоящее время в моем приложении, при настройке работы, у меня есть код, как показано ниже:
ArrayList<OutputJobInfo> tableList = new ArrayList<OutputJobInfo>();
tableList.add(OutputJobInfo.create("database", "request",
partitionValuesRequest));
tableList.add(OutputJobInfo.create("database", "requestdetail",
partitionValues));
tableList.add(OutputJobInfo.create("database", "jobInfo",
partitionValues));
List<HCatFieldSchema> requestSchemaList = new ArrayList<HCatFieldSchema>();
requestSchemaList .add(new HCatFieldSchema("type", Type.STRING,
null));
requestSchemaList .add(new HCatFieldSchema("samplesize",
Type.INT, null));
requestSchemaList .add(new HCatFieldSchema("userid",
Type.SMALLINT, null));
configurer.addOutputFormat("request", HCatOutputFormat.class,
BytesWritable.class, HCatRecord.class);
HCatOutputFormat.setOutput(configurer.getJob("request"),
tableList.get(0));
HCatOutputFormat.setSchema(configurer.getJob("request"),
new HCatSchema(requestSchemaList));
......
configurer.configure();
Это для меня, чтобы хранить информацию в связанных таблицах внутри редуктора. Поэтому мой вопрос будет, как я могу сделать соответствующую конфигурацию для MultiOutputFormat в Spring-hadoop? Я проверяю spring-hadoop.xsd. Не могу найти связанных вкладок для этого.