Что является преемником mrunit?

Сегодня я узнал, что ASF удалил mrunit (см. https://blogs.apache.org/foundation/entry/the_apache_news_round_up85 и https://issues.apache.org/jira/browse/HADOOP-3733 и саму домашнюю страницу). Кроме "бездействия" не было приведено никаких причин, так что я думаю, должна быть альтернатива?

Что предполагается использовать вместо mrunit для модульного тестирования заданий mapreduce в будущем?

2 ответа

Я считаю, что причиной этого выхода на пенсию является осознание того, что Mockito уже может справиться с тем, что вам нужно для юнит-тестирования ваших картографов / редукторов. Все, что вам нужно - это смоделировать свой Context, Counter и HBase KeyValue, и вы можете затем передать строку (в форме объекта Result) мапперу и проверить, является ли выданный ключ / значение правильным.

К вашему сведению - я действительно получил мои тесты MR, работающие отлично, используя этот подход, без какой-либо помощи со стороны MRUnit и PowerMock.

Не совсем преемник, но я попробовал и протестировал обходной путь с небольшим количеством исследований. На самом деле он основан на модуле Minoop кластера hadoop.

Чтобы узнать, как его использовать, подробности можно найти по этой ссылке здесь. И демонстрационный проект GitHub существует здесь.

Другие вопросы по тегам