Описание тега mappers

1 ответ

Установите максимальное количество картографов на 1 в Hive

Мне нужно сделать вид сопоставления из строки в целочисленный идентификатор, я думал, чтобы сделать функцию UDF и передать эту строку бросить ее. Чтобы это работало, мне нужен один картограф. Как мне заблокировать мапперы на 1? Спасибо за помощь
29 авг '12 в 08:05
0 ответов

Почему входные записи объединителя больше, чем выходные записи сопоставления?

Combiner работает над выходными записями маппера. Если выходные записи сопоставления поступают в объединитель, то почему входные записи моего объединителя являются более чем выходными записями сопоставления? Я получил эти 80 записей дополнительно. Я…
29 мар '16 в 14:36
1 ответ

Класс-таблица-маппер дизайн php и zf

Есть ли лучший способ для работы с ZF, используя мапперы, реальные объекты и table_objects. Вот как я делаю это с Zend Framework: class User_DbTable extends Zend_DB_Table_Abstract{ protected $_name = "user"; // name of the table } класс пользователя…
11 дек '09 в 20:02
1 ответ

Hive - случайное распределение записей по картографам

Я ищу что-то вроде DISTRIBUTE BY но для картографов вместо редукторов. У меня есть задание на преобразование только для карты, которое я запускаю и использую SET mapred.min.split.size=2100000; SET mapred.max.split.size=2100000; Для контроля количест…
30 авг '18 в 18:55
1 ответ

Условная вероятность

как сделать вероятностные агрегации внутри моего редуктора с помощью мапперов; Я пытаюсь реализовать как подход "полос", так и подход "пар" в Hadoop для следующих задач, но мне хотелось бы знать, как осуществлять связь между несколькими сопоставител…
22 мар '14 в 01:38
1 ответ

Управление картографами с помощью таблицы кустов, содержащей около 800 файлов деталей

У меня есть таблица улья, к которой данные добавляются каждый день. Таким образом, около 5 файлов добавляются каждый день. Теперь мы получили 800 файлов деталей под этой таблицей. Проблема, с которой я сталкиваюсь, состоит в том, чтобы присоединитьс…
13 апр '16 в 19:54
1 ответ

Ant Script для преобразования нескольких форматов файлов с помощью картографов - создание файлов с двойным расширением

Я хочу конвертировать несколько форматов файлов в один формат файла. Пример: D:\myrepo\rough имеет 3 файла 1. abc.sql 2. def.xml 3. ghi.dmp Я хочу, чтобы все они были конвертированы в.txt с помощью глобп-карт. <?xml version ="1.0"?> <projec…
22 сен '15 в 15:02
1 ответ

Как установить количество имен, узлов данных, сопоставителей и редукторов в Hadoop

Я хочу знать, как установить количество NameNodes узлы DataNode Mappers Переходники в коде / конфигурации Hadoop.
27 ноя '16 в 11:51
2 ответа

Hadoop получить фактическое количество картографов

В фазе карты моей программы мне нужно знать общее количество созданных картографов. Это поможет мне в процессе создания ключа карты (я хочу испускать столько пар ключ-значение для каждого объекта, сколько число картографов). Я знаю, что установка чи…
10 окт '13 в 14:56
1 ответ

С помощью Hadoop, как изменить количество картографов для данной работы?

Итак, у меня есть две работы: работа A и работа B. Для работы A я хотел бы иметь максимум 6 картографов на узел. Тем не менее, работа B немного отличается. Для задания B я могу запустить только один маппер на узел. Причина этого не важна - давайте п…
11 мар '13 в 22:22
2 ответа

Картограф Cytoscape.js mapData, возвращающий один и тот же цвет для всех вершин

Я пытаюсь использовать средство отображения Cytoscape.js mapData() для создания цветового градиента между красным и синим цветом для фона моей вершины. Я использую точный пример из документации: 'background-color': 'mapData(degree, 1, 100, blue, red…
22 мар '16 в 14:14
1 ответ

Количество узлов данных и MapTasks в Hadoop

Как установить количество узлов данных в Hadoop? это по коду, конфигурации или решению среды. Также во время просмотра статей, когда кто-то говорит: "Предпочтительное количество карт - около 10-100 карт на узел", то есть "узел" здесь означает NameNo…
27 ноя '16 в 22:26
3 ответа

Установка количества редукторов для приложения Amazon EMR

Я пытаюсь запустить пример WordCount под Amazon EMR. -1- Сначала я создаю кластер с помощью следующей команды: ./elastic-mapreduce --create --name "MyTest" --alive Это создает кластер с одним экземпляром и возвращает jobID, скажем, j-12NWUOKABCDEF -…
02 сен '13 в 22:28
0 ответов

MapReduce пропускная способность сети

Я пытаюсь измерить время, затрачиваемое каждой парой (key_a,value_a), передаваемой из преобразователя Mapper_i в редуктор Reducer_j. Другими словами, я хотел бы знать, сколько времени (key_a,value_a) уходит от выхода из Mapper_i до достижения Reduce…
07 окт '13 в 15:02
1 ответ

Как автоматически сгенерировать сопоставители xml или yaml из существующей базы данных в доктрине 2... но не используя cli

Я новичок в мире ORM и интегрирую доктрину 2 с проектом zf. Я просмотрел документацию доктрины и различные статьи и интегрировал ее:). У меня есть существующая БД, из которой я получил, чтобы генерировать свои мапперы и сущности. Я готов использоват…
4 ответа

Картографы, Редукторы, Фильтры

Я знаю о карте / уменьшить алгоритм и его использование. Он использует функции, которые называются Mappers и Reducers, но я также нахожу, что люди используют слово Filters. Являются ли фильтры такими же, как Mappers или есть какая-то существенная ра…
02 май '09 в 22:44
1 ответ

Будет ли Hadoop всегда равномерно распределять работу между узлами?

Скажем, у меня есть 200 входных файлов и 20 узлов, и у каждого узла есть 10 слотов картографа. Будет ли Hadoop всегда распределять работу равномерно, чтобы каждый узел получал 10 входных файлов и одновременно запускал 10 картографов? Есть ли способ …
13 мар '13 в 20:04
1 ответ

Как рассчитать количество картографов / редукторов, чтобы максимизировать производительность mahout RecommenderJob, работающего в облаке Amazon?

Каков наилучший способ рассчитать правильное количество картографов и редукторов hadoop в зависимости от того, какие экземпляры используются / доступны в Amazon Elastic MapReduce? (используя RecommenderJob дистрибутива mahout-core-0.7)
06 мар '13 в 20:51
1 ответ

Приведите объект в лямбда-выражения

Я использую EntityTypeConfiguration для сопоставления моей базы данных. Проблема в том, что класс T_DOC_GENERIC наследует T_DOC, когда я устанавливаю свои отношения с WithMany, он ожидает объект T_DOC_GENERIC, который объявлен как T_DOC. public clas…
29 окт '14 в 19:39
1 ответ

MyBatis+Spring MapperScan с несколькими источниками данных

Я извлекаю данные из двух разных баз данных, используя MyBatis 3.3.1 и Spring 4.3. Два класса конфигурации для сканирования на соответствие: @Configuration @MapperScan(value="com.mapper1.map", SqlSessionFactoryRef="sqlSessionFactory1") public class …
02 ноя '16 в 01:58