Описание тега mrunit

Описание тега Вопросы с тегом
Apache MRUnit is a Java library that helps developers unit test Apache Hadoop map reduce jobs.
1 ответ

Почему mrunit 1.1.0 jar недоступен в центральном репозитории Maven

Я попытался проверить работу MapReduce 2 с помощью mrunit в проекте maven. Я искал в центральном репозитории Maven и нашел результат: http://search.maven.org/#search%7Cgav%7C1%7Cg%3A%22org.apache.mrunit%22%20AND%20a%3A%22mrunit%22 В приведенной выше…
13 июл '16 в 18:58
2 ответа

Что является преемником mrunit?

Сегодня я узнал, что ASF удалил mrunit (см. https://blogs.apache.org/foundation/entry/the_apache_news_round_up85 и https://issues.apache.org/jira/browse/HADOOP-3733 и саму домашнюю страницу). Кроме "бездействия" не было приведено никаких причин, так…
18 май '16 в 00:11
1 ответ

Получил неожиданный вывод в MRUnit

Я получаю следующую ошибку MRUnit: ОШИБКА mrunit.TestDriver: получен неожиданный вывод (60, mrdp.MyCustomClass@73207f36) ОШИБКА mrunit.TestDriver: отсутствует ожидаемый результат (60, mrdp.MyCustomClass@6f73cf45) в позиции 0 Я создал MyCustomClass к…
08 сен '14 в 11:45
0 ответов

MRUnit для паркета

Я пытаюсь проверить мой водитель с MRUnit и мой MapDriver формат MapDriver <LongWritable, Group, ImmutableBytesWritable, KeyValue> Я нашел правильную сериализацию для KeyValue но не могу найти Group и я получаю следующую ошибку. Group group = …
12 июл '18 в 17:14
2 ответа

Ошибка MapReduce Mrunit

Я новичок в Hadoop. Вчера я следил за книгой и использовал JUnit в качестве аппертного теста для метеорологических данных. Но были некоторые проблемы. Это мой файл POM: <dependencies> <dependency> <groupId>junit</groupId> &lt…
16 июл '18 в 01:44
2 ответа

mrunit выполнить тестовый метод Ошибка HADOOP_HOME или hadoop.home.dir не установлены

Я хочу протестировать код hadoop2 mapreduce, используйте mrunit, но у меня есть ошибка. Локальный компьютер не устанавливает hadoop в windows. pom.xml ниже: <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop…
04 июн '15 в 08:13
1 ответ

java.lang.ClassCastException: org.apache.hadoop.io.serializer.WritableSerialization не может быть приведен к org.apache.hadoop.io.serializer.Serialization.

Я тестирую MultipleOutputs используя MRUnit. Тестовые случаи терпят неудачу со следующим сообщением. java.lang.ClassCastException: org.apache.hadoop.io.serializer.WritableSerialization cannot be cast to org.apache.hadoop.io.serializer.Serialization …
21 апр '17 в 09:34
0 ответов

Мрунит и авромаппер

AvroMapper требуется 2 параметра: public static class AvroRecordMapper extends AvroMapper <MyRecord,Pair <CharSequence,CharSequence>> и mapDriver требует 4 параметра: K1 V1 K2 V2 Могу ли я использовать MRUnit для юнит-тестов с AvroMapper?
04 ноя '13 в 11:20
1 ответ

Hadoop MRUnit IllegalStateException при использовании кода Hadoop-The Definition Guide

Я изучаю Hadoop из книги "Полное руководство" и попытался выполнить этот фрагмент кода, который приводит к ошибке.Пример из главы-5. Ссылка на код Github:источник: https://github.com/tomwhite/hadoop-book/blob/master/ch05/src/main/java/v1/MaxTemperat…
07 сен '14 в 14:29
0 ответов

Hadoop Mrunit через исключения

Я получаю следующие исключения при запуске модульных тестов для MapReduce. Я импортировал все возможные банки. Я не уверен, где я ошибся. Я включил скриншот банок, которые я импортировал ниже. Я тестировал простой код: import java.io.IOException; im…
25 янв '16 в 17:55
2 ответа

MRUnit не работает с MultipleOutputs

Когда я запускаю базовый MRUnit с MultipleOutputs, я получаю следующее исключение: java.lang.NullPointerException at org.apache.hadoop.fs.Path.<init>(Path.java:105) at org.apache.hadoop.fs.Path.<init>(Path.java:94) at org.apache.hadoop.m…
30 апр '15 в 07:12
1 ответ

Тест MRUnit для тестирования ошибки программы карты хуп

Я пытаюсь выполнить модульное тестирование программы Mapper с помощью MRUnit (из Hadoop: исчерпывающее руководство, стр. 153, раздел: Написание модульного теста с помощью MRUnit: Mapper). Я использую Intellij Idea, и он показывает ошибку в методе ne…
27 сен '17 в 03:49
1 ответ

Как получить банку MRUnit 1.0.0-SNAPSHOT, созданную с использованием классификатора hadoop1?

Последний выпуск MRUnit - 0,9. Этот выпуск не поддерживает DistributedCache. Этот https://issues.apache.org/jira/browse/MRUNIT-98 показывает, что 1.0.0 поддерживает DistributedCache. Я хочу получить банку MRUnit 1.0.0, созданную для hadoop1, но не м…
14 фев '13 в 22:22
1 ответ

MRUnit на windows без кластера hadoop

Я смотрю, есть ли способ запустить модульные тесты Hadoop Mapreduce в Windows без установки Hadoop. Работает ли MRUnit на windows (без cygwin) в Eclipse как проект Java maven? Спасибо Шриватсан Наллажагаппан
17 май '14 в 10:11
0 ответов

Как написать модульный тест MR для чтения записей схемы на основе avro и выдачи значений базовых ключей текста

Даже у меня есть подобное требование. Я хочу читать avro-записи, имеющие некоторую схему и выдавать значения ключа типа текстовых данных, для этого мне нужно написать контрольные примеры MR Unit. Я написал следующий код, но он дает мне следующее иск…
20 июн '14 в 09:27
2 ответа

MRUnit передачи значений в hbase Result object

Я проверяю свой картограф с MRUnit. Я передаю ключ и список значений в качестве входных данных для картографа из тестового класса. Проблема в: String key=1234_abc; ArrayList<KeyValue> list = new ArrayList<KeyValue>(); KeyValue k1 = new K…
04 апр '14 в 07:30
0 ответов

Как написать тестовый пример mrunit для (нескольких картографов и одного редуктора) драйвера MMR

I am new to BigData I have written a MR program and trying to write test cases for it using MRUnit from https://dzone.com/articles/testing-mapreduce-mrunit Но моя программа MR имеет 2 преобразователя и 1 редуктор, поэтому я не могу создать объект д…
11 дек '15 в 11:07
0 ответов

Цепочка заданий MapReduce в модульных тестах (mrunit 1.1.0)

У меня есть процесс mapreduce, который объединяет 2 пары картограф / редуктор. Как я могу пойти на юнит-тестирование всей цепочки? Я заглянул в MapReduceDriver и не могу понять, как перенаправить вывод первого задания во второе. Спасибо
30 окт '14 в 18:07
1 ответ

Блок-тест Hadoop с вычеркнутым контекстом

Я пытаюсь написать модульный тест для задания hadoop. Уловка в том, что картограф использует переданный ему аргумент Context, чтобы определить, какой файл читается им в данный момент. Это делает следующий вызов: String inputFile = ((FileSplit) conte…
05 фев '14 в 21:47
1 ответ

Проблема импорта проекта MRUnit Maven

Я изучаю Hadoop по книге О'Рейли "Hadoop, полное руководство 4-е издание", и у меня возникла проблема при попытке создать проект Maven для тестирования MRUnit. Я только что создал файл pom.xml, как показано в книге (просто меняю версию Hadoop), но о…
14 фев '15 в 09:07