Как установить выходное имя редуктора в Hadoop?

Question

У меня есть работа, которая будет излучать 900000 различных результатов. каждый из них должен быть идентифицирован определенным уникальным именем... это "имя", которое я имею на mapOutputKey. Как мне сделать это в карте-уменьшить?

Answer 1

Ты можешь использовать MultipleOutputs, в документации вы найдете пример, который делает почти то, что вам нужно, вам просто нужно заменить generateFileName функция к этому:

String generateFileName(K k, V v) {
  return k.toString();
}