Разбор и запись данных журнала из mapreduce в куст

Question

Разбор и запись данных журнала из mapreduce в куст

Я написал небольшую программу карты hadoop для анализа (регулярного выражения) информации из файлов журналов, созданных из других приложений. Я нашел эту статью http://www.nearinfinity.com//blogs/stephen_mouring_jr/2013/01/04/writing-hive-tables-from-mapreduce.html этой статье объясняется, как разобрать и записать ее в таблицу кустов.

Вот мой код

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
    public class ParseDataToDB {
    public static final String SEPARATOR_FIELD = new String(new char[] {1});
    public static final String SEPARATOR_ARRAY_VALUE = new String(new char[] {2});
    public static final BytesWritable NULL_KEY =  new BytesWritable();

    public static class MyMapper extends Mapper<LongWritable, Text, BytesWritable, Text>  {
        //private final static IntWritable one = new IntWritable(1);
        private Text word = new Text();
        private ArrayList<String> bazValues = new ArrayList<String>();

        public void map(LongWritable key, Text value,
                OutputCollector<BytesWritable, Text> context)
                throws IOException {
            String line = value.toString();
            StringTokenizer tokenizer = new StringTokenizer(line);
            while(tokenizer.hasMoreTokens()){
                word.set(tokenizer.nextToken());
                if(word.find("extract") > -1) {
                    System.out.println("in herer");
                    bazValues.add(line);
                }
            }
            // Build up the array values as a delimited string.
            StringBuilder bazValueBuilder = new StringBuilder();
            int i = 0;
            for (String bazValue : bazValues) {
                bazValueBuilder.append(bazValue);
                ++i;
                if (i < bazValues.size()) {
                    bazValueBuilder.append(SEPARATOR_ARRAY_VALUE);
                }
            }

            // Build up the column values / fields as a delimited string.
            String hiveRow = new String();
            hiveRow += "fooValue";
            hiveRow += SEPARATOR_FIELD;
            hiveRow += "barValue";
            hiveRow += SEPARATOR_FIELD;
            hiveRow += bazValueBuilder.toString();
            System.out.println("in herer hiveRow" + hiveRow);

//          StringBuilder hiveRow = new StringBuilder();
//          hiveRow.append("fooValue");
//          hiveRow.append(SEPARATOR_FIELD);
//          hiveRow.append("barValue");
//          hiveRow.append(SEPARATOR_FIELD);
//          hiveRow.append(bazValueBuilder.toString());

            // Emit a null key and a Text object containing the delimited fields
            context.collect(NULL_KEY, new Text(hiveRow));           
        }
    } 


    public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

        Configuration conf = new Configuration();       
        String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
        Job job = new Job(conf, "MyTest");
        job.setJarByClass(ParseDataToDB.class);
        job.setMapperClass(MyMapper.class);

        job.setMapOutputKeyClass(BytesWritable.class);
        job.setMapOutputValueClass(Text.class);

        job.setOutputKeyClass(BytesWritable.class);
        job.setOutputValueClass(Text.class);


        FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
        FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
        System.exit(job.waitForCompletion(true) ? 0 : 1);
    }
}

Но когда я запускаю это приложение, я получаю сообщение об ошибке "ожидается ByteWritable, но получено LongWritable. Может кто-нибудь сказать мне, что я делаю не так? Я новичок в программировании hadoop. Я также открыт для создания внешних таблиц и указания на hdfs, опять же я борюсь с внедрением. Спасибо.

2

java hadoop hive mapreduce

Источник

user1384205 14 июн '13 в 10:47

2 ответа

Другие вопросы по тегам java hadoop hive mapreduce

user2546418 10 окт '13 в 08:42 2013-10-10 08:42 · Answer 1 · 2013-10-10 08:42

Я думаю, что когда вы пытаетесь вывести NULL как ключ с карты, вы можете использовать NullWritable. Таким образом, ваш код будет выглядеть примерно так:

import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.fs.Path;
import org.apache.hadoop.io.IntWritable;
import org.apache.hadoop.io.LongWritable;
import org.apache.hadoop.io.Text;
import org.apache.hadoop.mapreduce.Job;
import org.apache.hadoop.mapreduce.Mapper;
import org.apache.hadoop.mapreduce.lib.input.FileInputFormat;
import org.apache.hadoop.mapreduce.lib.output.FileOutputFormat;
import org.apache.hadoop.util.GenericOptionsParser;
public class ParseDataToDB {
public static final String SEPARATOR_FIELD = new String(new char[] {1});
public static final String SEPARATOR_ARRAY_VALUE = new String(new char[] {2});


public static class MyMapper extends Mapper<LongWritable, Text, NullWritable, Text>  {
    //private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();
    private ArrayList<String> bazValues = new ArrayList<String>();

    public void map(LongWritable key, Text value,
            OutputCollector<NullWritable, Text> context)
            throws IOException {
        String line = value.toString();
        StringTokenizer tokenizer = new StringTokenizer(line);
        while(tokenizer.hasMoreTokens()){
            word.set(tokenizer.nextToken());
            if(word.find("extract") > -1) {
                System.out.println("in herer");
                bazValues.add(line);
            }
        }
        // Build up the array values as a delimited string.
        StringBuilder bazValueBuilder = new StringBuilder();
        int i = 0;
        for (String bazValue : bazValues) {
            bazValueBuilder.append(bazValue);
            ++i;
            if (i < bazValues.size()) {
                bazValueBuilder.append(SEPARATOR_ARRAY_VALUE);
            }
        }

        // Build up the column values / fields as a delimited string.
        String hiveRow = new String();
        hiveRow += "fooValue";
        hiveRow += SEPARATOR_FIELD;
        hiveRow += "barValue";
        hiveRow += SEPARATOR_FIELD;
        hiveRow += bazValueBuilder.toString();
        System.out.println("in herer hiveRow" + hiveRow);



        // Emit a null key and a Text object containing the delimited fields
        context.collect(NullWritable.get(), new Text(hiveRow));           
    }
} 


public static void main(String[] args) throws IOException, InterruptedException, ClassNotFoundException {

    Configuration conf = new Configuration();       
    String[] otherArgs = new GenericOptionsParser(conf, args).getRemainingArgs();
    Job job = new Job(conf, "MyTest");
    job.setJarByClass(ParseDataToDB.class);
    job.setMapperClass(MyMapper.class);

    job.setMapOutputKeyClass(NullWritable.class);
    job.setMapOutputValueClass(Text.class);

    job.setOutputKeyClass(NullWritable.class);
    job.setOutputValueClass(Text.class);


    FileInputFormat.addInputPath(job, new Path(otherArgs[0]));
    FileOutputFormat.setOutputPath(job, new Path(otherArgs[1]));
    System.exit(job.waitForCompletion(true) ? 0 : 1);
}

}

user1356973 14 июн '13 в 12:20 2013-06-14 12:20 · Answer 2 · 2013-06-14 12:20

От просмотра статьи, которую вы предоставили ССЫЛКА, Показать NULL_KEY что вы не установили никакого значения. Так должно быть

public static final BytesWritable NULL_KEY = new BytesWritable(null);

0

Источник

user1356973 14 июн '13 в 12:20