Hadoop MR ChainReducer и несколько выходов

Я работаю над существующим стандартным заданием Hadoop MR, которое использует MultipleOutputs в фазе сокращения. Я пытаюсь добавить дополнительные преобразования данных в эту работу, и я искал цепочки дополнительных картографов после фазы сокращения.

Проблема заключается в том, что преобразователи в цепочки, по-видимому, не настроены на использование данных MultipleOutput в качестве источника ввода.

Есть ли способ настроить работу для этого?

InputFile -> 
    MapperOne
        ReducerTwo (MultipleOutputs)
            MultipleOutputFile One ->
                ChainedMapperTwo
                    Final Output One
            MultipleOutputFile Two ->
                ChainedMapperTwo
                    Final Output Two

0 ответов

Другие вопросы по тегам