Чтение / запись прототипов lzo данных из hdfs с использованием elephant-bird в java mapreduce
В настоящее время я нуждаюсь в доступе к данным, хранящимся в HDFS в блочном формате protoZf LZO. Я обычно обращаюсь к нему с помощью Pig и выполняю необходимую обработку, но мое текущее требование - прочитать данные, разбить их и сохранить в динамических путях на основе некоторых полей в данных.
Такой тип динамического хранения на вложенном уровне невозможен с Pig, поэтому я предполагаю, что Java mapreduce - единственный способ сделать это. Был бы очень признателен, если бы я мог получить какую-либо помощь о том, как решить эту проблему, я не большой разработчик Java.
С уважением, Йогини