Apache Crunch: как установить несколько путей ввода?

Question

У меня проблема: я не могу установить несколько путей ввода, когда использую Apache Crunch. Как я могу решить эту проблему?

Answer 1

Вы можете добавить несколько входных файлов для обработки, указав все пути ввода в списке.

public class Name {

public static void main(String[] args) {
    Pipeline pipeline =  new MRPipeline(Name.class, jobName, conf);
    List<Path> inputPathList = new ArrayList<>(); // Add your InputPaths here
    PCollection<String> source = From.sequenceFile(inputPathList, Text.class);
  }
}