Приходит ли Apache Crunch с API Hadoop MapReduce?

Когда вы загружаете Apache Crunch со своего веб-сайта (он поставляется в виде исходного кода), он не содержит связанных с ним классов MapReduce. Два вопроса:

1- Как это возможно? Apache Crunch - это абстракция поверх MapReduce. Почему это не упаковано с классами MapReduce?

2- Что мне нужно сделать для разработки с использованием Apache Crunch? Нужно ли загружать Crunch и MapReduce отдельно? Если так, как я могу узнать, какая версия MapReduce мне нужна, чтобы соответствовать версии Crunch?

Источник

1 ответ

Я просто искал классы Mapreduce в Apache Crunch

Я выполнил случайную проверку, и ни один из этих классов, по-видимому, не расширял классы hadoop и, скорее, был метионирован

Статические функции для работы с устаревшими Mappers и Reducer, которые находятся в пакете org.apache.hadoop.mapred.* Как часть конвейеров Crunch.

Вы используете версию 0.6 или более раннюю?

Источник
Другие вопросы по тегам