Описание тега disco
Disco is a distributed computing framework based on the MapReduce paradigm. Disco is open-source; developed by Nokia Research Center to solve real problems in handling massive amounts of data. Disco distributes and replicates your data, and schedules your jobs efficiently.
1
ответ
Erlang Нет дома для файла cookie
Что означает "Нет файла cookie"? И как мне решить эту проблему: export BINDIR=/usr/lib/disco/master/ebin/;/usr/lib/erlang/erts-5.10.4/bin/beam -K true -P 10000000 -scl false -stbt s -- -root /usr/lib/erlang -progname erl -- -home /usr/var/disco info…
08 ноя '16 в 00:36
1
ответ
Диско цепочки пропуски уменьшить
Недавно я нашел Disco Project, и он мне очень нравится по сравнению с Hadoop, но у меня есть проблема. Мой проект настроен так (я буду рад вырезать / вставить настоящий код, если это поможет): myfile.py from disco.core import Job, result_iterator im…
31 дек '15 в 04:40
2
ответа
SharePoint: проблема создания дискотеки
Я следовал инструкциям http://msdn.microsoft.com/en-us/library/ms464040.aspx к письму, когда я запускаю disco.exe, я получаю эту ошибку: HTML-документ не содержит информации об обнаружении веб-служб. Какие-либо предложения? http://msdn.microsoft.com…
10 ноя '09 в 19:27
2
ответа
Невозможно вызвать метод, если он не является глобальным из класса
Привет, я новичок в Disco и интегрирую в него существующий код. Способна ли Disco вызывать функцию map / Reduction как функцию внутри класса вместо глобальной функции? Следующий код может объяснить более четко. class Segmenter(object): def map_fun(l…
30 авг '12 в 06:18
1
ответ
Генерация WSDL и диско-файлов
Я хочу автоматически создать wsdl и диско-файл (например, через bat-файл). эти файлы будут сгенерированы, если в (тестовый) проект добавлена сервисная ссылка. wsdl.exe и disco.exe отсутствуют. Можете ли вы сказать мне лучшую практику?
14 дек '10 в 12:59
1
ответ
Python - Map / Reduce - Как мне прочитать специфическое для JSON поле, используя пример количества слов DISCO
Я следую примеру DISCO для подсчета слов из файла: Считать слова как карту / сократить работу У меня нет проблем с получением этой работы, однако я хочу попробовать прочитать в определенном поле из текстового файла, который содержит строки JSON. В ф…
24 ноя '12 в 07:08
1
ответ
Disco/MapReduce: использование chain_reader для разделения данных
Мой алгоритм в настоящее время использует nr_reduces 1, потому что мне нужно убедиться, что данные для данного ключа агрегированы. Чтобы передать ввод следующей итерации, нужно использовать "chain_reader". Тем не менее, результаты сопоставления пред…
02 апр '10 в 15:54
1
ответ
Чтение данных из DDFS ValueError: невозможно декодировать объект JSON
Я использую десятки карт, сокращающих количество рабочих мест для различных целей с использованием дискотеки. Мои данные стали огромными, и я подумал, что я бы попробовал использовать DDFS для изменений, а не стандартные текстовые файлы. Я следовал …
26 ноя '12 в 02:57
1
ответ
Disco/MapReduce: использование результатов предыдущей итерации в качестве входных данных для новой итерации
В настоящее время я реализую PageRank на дискотеке. В качестве итерационного алгоритма результаты одной итерации используются в качестве входных данных для следующей итерации. У меня есть большой файл, который представляет все ссылки, где каждая стр…
02 апр '10 в 11:36
1
ответ
Как получить общий глобальный объект между мапперами в DISCO
Каждому из моих картостроителей нужен доступ к очень большому словарю. Можно ли как-нибудь избежать издержек, связанных с открытием каждой копией своей собственной копии, и вместо этого сделать так, чтобы все они указывали на один глобальный общий о…
17 апр '14 в 00:46
2
ответа
Нет модуля с именем disco.core
Я следовал этому руководству здесь: http://discoproject.org/doc/disco/start/install.html и были успешны до того момента, когда я запускаю сценарий. Я получаю ошибку: no module named disco.core Я установил дискотеку в соответствии с инструкциями выше…
17 июл '13 в 17:36
2
ответа
Сельдерей для Map-Reduce или другие альтернативы в Python?
У меня есть дорогие задания, которые очень подходят для работы по модели "карта и уменьшение" (короче говоря, это агрегирование нескольких сотен ранжирований, которые ранее рассчитывались с помощью некоторого трудоемкого алгоритма). Я хотел распарал…
29 июл '11 в 07:47
2
ответа
Выполнение задания Disco Map-Reduction для данных, хранящихся в Discodex
У меня есть большое количество статических данных, которые должны предложить произвольный доступ. Поскольку я использую Disco, чтобы переварить его, я использую очень впечатляющий внешний вид хранилища Discodex (ключ, значение) поверх распределенной…
08 июл '11 в 18:05
0
ответов
Картирование мутации в месте хромосомы с помощью mapreduce/PIG или Disco
Цель: сопоставить местоположение мутации из файла1 с регионом или объектом из второго файла. Для этого вам нужно убедиться, что хромосома (chr1) и нити (+/-) одинаковы, прежде чем сравнивать местоположение хромосомы от файла 1 до областей файла2. Во…
03 июн '13 в 18:49
1
ответ
Код прокси-сервера веб-службы, сгенерированный WSDL.exe и "Обновление веб-справки" - меня это волнует?
Используя Visual Studio 2010, у нас есть решение с несколькими веб-сайтами (не проектами веб-приложений) и командной строкой и проектами winforms. Все целевые.Net 2.0. Многие из проектов имеют веб-ссылки на веб-сервисы ASMX на веб-сайтах. Веб-сервис…
21 янв '12 в 01:24
1
ответ
mapreduce против других решений для параллельной обработки
Итак, вопросы: 1. Является ли издержки mapreduce слишком высокими для решения следующей проблемы? У кого-нибудь есть представление о том, сколько времени занимает цикл "карта / уменьшение" (например, на дискотеке) для очень легкой работы? 2. Есть ли…
07 сен '11 в 20:55
1
ответ
Работа в цепочке на дискотеке (MapReduce)
Я хочу изменить пример innerjoin расширенного урока так, чтобы он позволял умножение разреженных матриц с помощью mapreduce (описанного Ullman). Поэтому мне нужен второй шаг суммирования карты-уменьшения значений равной позиции в матрице результатов…
08 июл '13 в 20:33
0
ответов
Можно ли легко установить Python и DISCO в кластере Rocks 6.2?
Я ищу способ быстро и легко построить вычислительный кластер, используя дешевые ПК (все идентичное оборудование). Rocks выглядит как возможное решение, но мне нужно иметь возможность запускать программы Python 3.4 на узлах, а также настроить DISCO в…
18 июн '15 в 17:54
1
ответ
Запуск дискотеки в контейнере Docker
Мне нужно запустить скрипт Python в контейнере Docker (в настоящее время у меня есть выполнение "disco_test.py" в качестве моего ENTRYPOINT команда), которая будет использовать Disco (который, конечно, должен быть запущен в этом контейнере). Проблем…
23 окт '14 в 22:13
1
ответ
Как получить результаты работы диско питона
Как получить результаты работы с диско питона? Я пробовал работу на дискотеке: jmunsch@disco-master-5147:~$ disco jobs KeyCount@5ca:2d323:53093 KeyCount@5ca:2bcb5:4f479 результаты дискотеки: jmunsch@disco-master-5147:~$ disco results "KeyCount@5ca:2…
20 дек '16 в 00:43