MRUnit на windows без кластера hadoop

Question

Я смотрю, есть ли способ запустить модульные тесты Hadoop Mapreduce в Windows без установки Hadoop. Работает ли MRUnit на windows (без cygwin) в Eclipse как проект Java maven?

Спасибо Шриватсан Наллажагаппан

Answer 1

Вы можете запустить автономно MRUnit тесты. Все, что вам нужно, это несколько зависимостей в вашей поме. Я только что провел небольшой тест, и это единственные зависимости, необходимые для успешного теста. Просто простой тест с жестко закодированными значениями. Нет Cywin, нет настройки Hoopoop, только зависимости.

<dependencies>
    <dependency>
        <groupId>jdk.tools</groupId>
        <artifactId>jdk.tools</artifactId>
        <version>1.7.0_25</version>
        <scope>system</scope>
        <systemPath>${JAVA_HOME}/lib/tools.jar</systemPath>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-common</artifactId>
        <version>2.2.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-yarn-common</artifactId>
        <version>2.2.0</version>
    </dependency>
    <dependency>
        <groupId>org.apache.mrunit</groupId>
        <artifactId>mrunit</artifactId>
        <version>1.0.0</version>
        <classifier>hadoop2</classifier>
    </dependency>
    <dependency>
        <groupId>org.apache.hadoop</groupId>
        <artifactId>hadoop-mapreduce-client-core</artifactId>
        <version>2.2.0</version>
    </dependency>
</dependencies>

Что касается запуска установки без Cygwin, это также возможно. Загляните на этот сайт и этот сайт за помощью в создании и установке hadoop для Windows без Cywin.

Также другим полезным инструментом является плагин hadoop для eclipse. Вы можете увидеть скомпилированную версию здесь. Это довольно легко использовать. Вы можете получить некоторую помощь о том, как использовать его здесь