Описание тега mapper
Картограф - это первый шаг в инфраструктуре MapReduce, компоненте более крупного масштабируемого параллелизуемого алгоритма.
1
ответ
Hbase import ^A (CTRL A) файл с разделителями, используя importTsv
У меня есть простой текстовый файл, строки разделены символом "\n", а столбцы разделены символом "^A", который является непечатаемым символом. Мне нужно загрузить этот файл в HBase, и я наткнулся на инструмент importtsv, который, кажется, может дела…
12 июн '14 в 16:11
0
ответов
Преобразование объектов Java с похожими типами данных, но с разными именами полей
Я пытаюсь преобразовать этот объект Java public class abc { private List<Profile> profile; private List<Address> address; } к этому объекту public class xyz { private List<Profile> profiles; private List<Address> addresses; }…
24 сен '18 в 23:05
0
ответов
Что на самом деле делает фаза тасования?
Что на самом деле делает фаза тасования? A) Так как тасование - это процесс переноса o/p преобразователя в o/p редуктора, он просто переносит определенные ключи от преобразователей в конкретные преобразователи на основе кода, написанного в разделите…
04 июн '17 в 06:05
1
ответ
Как получить объекты из слоя модели / сервиса
В приложении, которое мы разрабатываем, у нас есть Сервисы, Mappers и Entities. Мы не используем ORM. В приложении мы имеем Group, GroupMember & Member юридические лица. GroupMember сущность имеет groupId, memberId & memberAccess свойства. memberAcc…
22 окт '13 в 03:13
1
ответ
Размер выходных разделов карты?
Предположим, что у нас есть 3 картографа (m1, m2 и m3) и 2 редуктора (r1 и r2). Каждый редуктор извлекает свои входные разделы из сгенерированных файлов каждым маппером. Из истории заданий я могу извлечь общий ввод для каждой задачи сокращения, но я…
09 апр '13 в 17:45
0
ответов
Как сделать вывод преобразователя hadoop обработанным собственным редуктором?
Теперь, когда преобразователь Hadoop выведет несколько блоков, он будет перенесен на новый узел, где работает редуктор. Несмотря на то, что узел, который выполняет преобразователь, также запускает редуктор, он не гарантирует, что его выходные блоки …
16 июн '14 в 22:11
0
ответов
Как отразить два класса, которые имеют поля различия?
Я хочу поразмышлять от класса A к классу B, но у двух из них есть разница filedNames, как сделать так, чтобы поле A быстро устанавливалось в поле B. @Data // lombok class A { private Long id; private String name; } @Data class B { private Long userI…
06 дек '16 в 11:11
1
ответ
mapper.readValue не поддерживает JSON Views
Я использую JSONView, чтобы скрыть вещи от показа в API. Все работает, если я хочу иметь не читаемый JSON. Проблема в том, что я также пытаюсь настроить json, чтобы он выглядел более читабельным. Вторая в последней строке в методе ниже делает это: @…
03 дек '18 в 20:52
1
ответ
Определение исполнения маппера
Была ли выполнена помощь в определении картографа, и если он не был выполнен, по какой причине это могло произойти. Я записал вывод путей чтения из базы данных в текстовый файл локальной файловой системы, на которой выполняется маппер. Здесь я даю к…
22 апр '13 в 10:45
1
ответ
Могу ли я установить вход Mapper как hashMap вместо входного файла
Я пытаюсь настроить задачу MapReduce, которая использует функцию параллельного сканирования от DynamodB. По сути, я хочу, чтобы каждый класс Mapper принимал кортеж в качестве входного значения. Каждый пример, который я видел до сих пор, устанавливае…
08 июн '13 в 03:04
1
ответ
Ограничение количества одновременных картографов в Sqoop
Я хочу запустить задание Sqoop с 100 сопоставителями ("-m 100") - это распределит данные на 100 разделов. В любой момент времени я хочу ограничить число одновременно работающих мапперов до 10. Что это за свойство? Следующее не сработало - -D mapredu…
28 окт '15 в 02:52
1
ответ
Получить имя файла в Mapper hadoop
Мой картограф организован следующим образом: #!/usr/bin/python import os import sys for line in sys.stdin: filename = os.environ["map_input_file"] print(filename) Я просто пытаюсь получить имя файла в маппере, но есть ошибка в файле map_input_file, …
15 фев '19 в 08:42
0
ответов
Dropwizard/JDBI - Отображение MySQL INT на Java для каждого поля логическое?
Моя база данных содержит много столбцов, где логические значения представлены 0 или 1. Я хотел бы преобразовать их в логические значения, когда они отображаются из базы данных, сохраняя при этом возможность использования @RegisterBeanMapper(Dog.clas…
15 авг '18 в 22:15
0
ответов
Qt - mapper не будет отправлять текстовые поля
У меня есть 15 QLineEdit, из которых 13 "реальные" и 2 "текстовые" (типы полей SQL), сопоставленные с его полем базы данных. Я могу загрузить данные в поля и обновить их, но когда я пытаюсь вставить новый элемент, текстовые поля не сохраняются. Ошиб…
08 окт '17 в 18:13
4
ответа
Метод установки не вызывается в Hadoop Mapper
Я запускаю последовательность Hadoop Mapper/Reducers и получаю список идентификаторов фильмов. Я использую файл MovieData для отображения названий фильмов на основе этих идентификаторов. Я использую класс Mapper, как показано ниже. Я вижу, что метод…
17 мар '14 в 19:05
3
ответа
Jackson Mapper - как потерпеть неудачу на пустых или пустых значениях
Мы используем Jackson JSON mapper в нашем коде для десериализации некоторых объектов конфигурации. Мы бы хотели, чтобы Джексон потерпел неудачу при десериализации, когда определенные поля отсутствуют или пусты Единственная функция в Джексоне, поддер…
24 сен '17 в 09:54
1
ответ
keycloak mapper протокола клиента (script mapper) для добавления заголовка запроса в токен
Когда я запрашиваю токен из keycloak, я хочу, чтобы конкретное значение заголовка (или дополнительные данные формы), которое было предоставлено в запросе, было помещено в полезную нагрузку JWT сгенерированного токена. Я пытался использовать Script M…
11 ноя '17 в 02:23
0
ответов
Проецирование карты в rviz с использованием map_server
Я хочу использовать map_server как в этой ссылке: http://wiki.ros.org/map_server. Я построил свою карту, используя mapper3 (основной) карта должна быть спроецирована в сетку Rviz и должна занимать все это, центр карты с использованием mapper3 (базов…
02 апр '14 в 11:46
1
ответ
Sqlalchemy - Можем ли мы использовать сравнение дат в определении отношений?
Я определил этот маппер: mapper(Resource, resource_table, properties = {'type' : relation(ResourceType,lazy = False), 'groups' : relation(Group, secondary = model.tables['resource_group'], backref = 'resources'), 'parent' : relation(Relation, uselis…
05 мар '10 в 03:45
2
ответа
Когда маппер сохраняет свои выходные данные на локальном жестком диске?
Я знаю это Выходные данные Mapper (промежуточные данные) хранятся в локальной файловой системе (не HDFS) каждого отдельного узла данных Mapper. Обычно это временный каталог, который может быть установлен в конфигурации администратором Hadoop. После …
03 июн '17 в 16:26