Описание тега mapreduce
MapReduce - это алгоритм обработки огромных наборов данных по определенным типам распределенных задач с использованием большого количества узлов.
0
ответов
Пряжа MapReduce застряла в состоянии ПРИНЯТО: ожидание размещения AM-контейнера, его запуска и регистрации в RM
Привет, я новичок в Hadoop и пытаюсь запустить mapreduce в режиме псевдокластера на моей локальной машине. Но каждый раз, когда я отправляю работу, она застревает на YarnApplicationState: ACCEPTED: waiting for AM container to be allocated, launched …
15 июн '17 в 17:09
1
ответ
Pig - загружать документы Word (.doc & .docx) с помощью pig
Я не могу загрузить документы Microsoft Word (.doc или.docx) с поросенком. Действительно, когда я пытаюсь это сделать, используя TextLoader(), PigStorage() или вообще не загружая, это не работает. На выходе получаются странные символы. Я слышал, что…
29 авг '13 в 09:03
1
ответ
MongoDb - mapReduce(...) не работает
Образец документа: { "_id" : ObjectId("51cd7274267d959cb9f95cea"), "creation_time" : 100, "delivered" : true, "id" : 1, "user_id" : 10 } Функция карты: db.system.js.save({ _id: "mapDummy", value: function(){ emit(this.user_id,this.user_id); } }); Ум…
02 июл '13 в 11:20
0
ответов
Карта мангуста уменьшает возвращает неверный результат, когда ввод равен
Я хотел попробовать функцию уменьшения карты Мангуста и закончил следующим образом: // See: http://mongoosejs.com/docs/api.html#mongoose_Mongoose-Model function mapReduceStatistic(homework) { let mapReduceObject = {}; mapReduceObject.map = function …
10 июн '18 в 19:01
2
ответа
Глобальные значения в карте hadoop уменьшаются
Мой вариант использования включает в себя обнаружение дефектных элементов... скажем, у меня есть список продуктов с миллионами элементов в формате hdf, помеченный как хороший / дефектный... Я хочу выяснить первые 10 совпадений дефектных элементов и …
18 мар '13 в 22:38
1
ответ
Включение количества документов в представлении для каждого конкретного счета
У меня есть структура, такая как GROUP и USER. Каждая группа имеет несколько пользователей. Мне нужно иметь представление, которое возвращает мне список групп, который также включает количество пользователей. Как я могу это сделать? К каждой ГРУППЕ …
27 янв '14 в 20:04
2
ответа
JPS выдает пустой вывод, ни один из демонов Hadoop не запускается с start-all.sh, распределенного режима Hadoop Psudo, на 32-битной виртуальной машине, работающей в 64-битной ОС Windows
Я пытаюсь настроить Hadoop2.7.1, Java OpenJDK 7, на 32-битной виртуальной машине, работающей поверх 64-битной ОС. Я настроил все файлы, как указано здесь http://pingax.com/install-hadoop2-6-0-on-ubuntu/ Даже после запуска start-dfs.sh или start-all.…
22 апр '16 в 07:39
2
ответа
Сцепление рабочих мест mapreduce
Я наткнулся на "цепочку рабочих мест Mapreduce". Будучи новичком в mapreduce, при каких обстоятельствах мы должны связывать (я предполагаю, что создание цепочек означает выполнение заданий mapreduce один за другим последовательно)? И есть ли примеры…
29 июн '16 в 23:29
1
ответ
Как получить этот вывод из латыни свиньи в MapReduce
Я хочу получить следующий вывод из Pig Latin / Hadoop ((39,50,60,42,15,Bachelor,Male),5) ((40,35,HS-grad,Male),2) ((39,45,15,30,12,7,HS-grad,Female),6) из следующей выборки данных выборка данных для взрослых данных Я написал следующий текст на латин…
10 июн '16 в 12:03
0
ответов
Есть ли способ отключить запись файла.jhist для MapReduce?
У меня небольшой кластер с не очень хорошей сетью. Время от времени долгосрочное задание будет достигать 100% карты и уменьшаться на 100%, а затем завершаться сбоем. Проблема заключается в следующем: в начале задания MapReduce открывает DataStreamer…
18 ноя '18 в 19:20
2
ответа
Как получить имя входного файла в коде Mapper в программе Hadoop Map Reduce
Я написал код драйвера с двумя входными аргументами: args[0] и args[1]. Я хочу использовать args [0], то есть путь к входному файлу, в качестве одного из моих путей к файлу в коде картографа, чтобы мой читатель буфера мог прочитать файл, как показан…
31 дек '15 в 06:07
0
ответов
Хранилище Microsoft Windows Azure: удаленный сервер вернул ошибку 404 не найдена
Я постоянно получаю сообщение об ошибке "404 not found". Я создал кластер и учетную запись хранения и контейнер. Подробная ошибка, которую я получаю: Необработанное исключение: System.AggregateException: произошла одна или несколько ошибок. --- Micr…
09 сен '16 в 20:55
1
ответ
Значение не записано в файл HDFS
Я пытаюсь записать значение в файл на HDFS. Вот код: FileSystem fsys = FileSystem.get(new Configuration()); String fileName = "/user/root/TestData/Parameter.txt"; Path path = new Path(fileName);//(pathOfTestFile); //fstatus.getPath(); FSDataOutputSt…
19 июл '12 в 10:14
2
ответа
Не могу увидеть выходной файл mapreduce wordcount
Я следовал руководству Майкла Нолса, чтобы загрузить и установить Haddop. Я также запустил пример WordCount. Но я не вижу выхода того же самого. Когда я вижу файлы в DFS, я получаю весь список файлов, которые у меня есть Но когда я котирую эти файлы…
27 янв '13 в 07:29
1
ответ
FileNotFoundException при использовании DistributedCache для доступа к MapFile
Я использую hadoop cdf4.7 запустить в режиме пряжи. В MapFile есть hdfs://test1:9100/user/tagdict_builder_output/part-00000и у него есть два файла index а также data Я использовал следующий код, чтобы добавить его в distribCache: Configuration conf …
21 июл '14 в 13:34
2
ответа
Считается ли сортировка в определении карты плохой практикой?
В моем приложении есть несколько областей, в которых требуется список результатов запроса, отсортированных по одному полю. Итак, я определил статический индекс следующим образом: public sealed class BlogPosts_OrderedByPublishDateDesc : AbstractIndex…
30 янв '12 в 01:47
1
ответ
Передать несколько значений обратно из Hadoop Tools
В Java-приложении Hadoop мне нужно передать множественные целочисленные значения вызывающей стороне из экземпляров MapReduce Tool. До сих пор я пытался и потерпел неудачу следующим образом: Tool.run() возвращает одно целочисленное значение своему вы…
14 авг '18 в 09:14
1
ответ
Почему редуктор имеет разные ключи ввода / вывода, значения в карте / редукторе hadoop?
Из-за особенностей приложений Map/Reduce, reduce Функция может вызываться более одного раза, поэтому значение клавиши ввода / вывода должно быть таким же, как и в реализации Map/Reduce MongoDB. Я задаюсь вопросом, почему в реализации Hadoop все по-д…
09 дек '12 в 05:22
1
ответ
EOF Исключение при использовании пользовательского типа данных Hadoop - biginsghts
Я впервые использую пользовательский тип данных в Hadoop. Вот мой код: Тип пользовательских данных - массив значений, отображаемых в течение недели. каждая ячейка представляет один день: public class Days implements Writable { private int[] days; pu…
27 янв '15 в 12:20
1
ответ
Реализующая группа с помощью карты уменьшить
Я знаю, что в spark есть групповые реализации, но я пытаюсь понять, как они работают. Я посмотрел на исходный код. Я не совсем понимаю, отображает ли он только ключи или выполняет операцию сокращения. Как бы вы внедрили группу, используя карту / уме…
19 июн '16 в 17:35