Hadoop MR ChainReducer и несколько выходов
Я работаю над существующим стандартным заданием Hadoop MR, которое использует MultipleOutputs в фазе сокращения. Я пытаюсь добавить дополнительные преобразования данных в эту работу, и я искал цепочки дополнительных картографов после фазы сокращения.
Проблема заключается в том, что преобразователи в цепочки, по-видимому, не настроены на использование данных MultipleOutput в качестве источника ввода.
Есть ли способ настроить работу для этого?
InputFile ->
MapperOne
ReducerTwo (MultipleOutputs)
MultipleOutputFile One ->
ChainedMapperTwo
Final Output One
MultipleOutputFile Two ->
ChainedMapperTwo
Final Output Two