Описание тега writable

Вопросы с тегом
1 ответ

Игнорирование исключения во время закрытия для org.apache.hadoop.mapred.MapTask$NewOutputCollector

Я создал Hadoop Custom Writable, как показано ниже public class ResultType implements Writable { private Text xxxx; private Text yyyy; private Text zzzz; public ResultType() {} public ResultType(Text xxxx, Text yyyy, Text zzzz) { this.xxxx = xxxx; t…
12 июн '17 в 14:31
1 ответ

Имитация удаленной среды?

Я создаю приложение.NET MVC, которое будет развернуто на сервере Windows 2003. На сервере есть папка @ c:\Website\Files, в которую необходимо записать приложение. Как мне справиться с этим в моей среде разработки, чтобы установочный файл MSI, которы…
19 мар '10 в 23:32
1 ответ

В чем причина наличия записываемых классов-оболочек в Hadoop MapReduce для типов Java?

Мне кажется, что org.apache.hadoop.io.serializer.Serialization может быть написан для сериализации типов Java напрямую в том же формате, в который классы-обертки сериализуют тип. Таким образом, Mappers и Reducers не должны иметь дело с классами-обер…
20 июн '13 в 00:51
1 ответ

Сериализация в Hadoop - доступная для записи

Это класс, который реализует Writable.. public class Test implements Writable { List<AtomicWritable> atoms = new ArrayList<AtomicWritable>(); public void write(DataOutput out) throws IOException { IntWritable size = new IntWritable(atoms…
21 июн '13 в 05:41
1 ответ

Hadoop - Как перейти от реализации доступного для записи интерфейса для использования объекта Avro?

Я использую Hadoop для преобразования файлов JSON в файлы CSV для доступа к ним с помощью Hive. В настоящее время Mapper заполняет собственную структуру данных, анализируя JSON с помощью JSON-Smart. Затем редуктор считывает этот объект и записывает …
11 фев '13 в 16:11
1 ответ

Apache Giraph/Hadoop: перебор пользовательских ArrayWritable

Я думал, что это будет просто осуществить, но это начинает быть болью. У меня есть подкласс ArrayWritable так: public class VertexDistanceArrayWritable extends ArrayWritable { public VertexDistanceArrayWritable() { super(VertexDistanceWritable.class…
27 май '16 в 07:17
2 ответа

hadoop CustomWritables

У меня есть вопрос о дизайне относительно необходимости CustomWritable для моего варианта использования: Итак, у меня есть пара документов, которую я буду обрабатывать по конвейеру и записывать промежуточные и окончательные данные в HDFS. Мой ключ б…
12 апр '11 в 00:41
0 ответов

Пустое значение в методе write(): пользовательский тип данных в Hadoop MapReduce

Я излучаю два двумерных двойных массива в качестве ключа и значения. Я строю WritableComparable учебный класс. public class MF implements WritableComparable<MF>{ /** * @param args */ private double[][] value; public MF() { // TODO Auto-generat…
30 окт '13 в 05:10
1 ответ

Hadoop - Как испускать TwoDArrayWritable

Я испускаю TwoDArrayWritable из картографа. Я реализовал класс, который расширяет TwoDArrayWritable, чтобы сделать конструктор по умолчанию. Но когда я пытаюсь его испустить, это дает мне следующее исключение: Error: java.lang.RuntimeException: java…
30 дек '14 в 10:21
1 ответ

Hadoop mapreduce пользовательский доступный для записи статический контекст

Я работаю над университетским домашним заданием, и мы должны использовать для него hadoop mapreduce. Я пытаюсь создать новый пользовательский доступ для записи, поскольку я хочу вывести пары ключ-значение как (ключ, (doc_name, 1)). public class Dete…
08 янв '16 в 14:17
3 ответа

Hadoop mapreduce с размером ввода ~ 2Mb медленно

Я попытался распространить расчет, используя hadoop. Я использую входные и выходные файлы последовательности и пользовательские записываемые файлы. Входные данные представляют собой список треугольников, максимальный размер которых составляет 2 МБ, …
18 фев '14 в 15:12
1 ответ

Hadoop для записи readFields EOFException

Я реализую свою собственную вторичную сортировку Writable for Hadoop, но при запуске задания Hadoop продолжает выдавать исключение EOFException в моем readFields метод, и я не знаю, что с ним не так. Трассировка стека ошибок: java.lang.Exception: ja…
29 мар '18 в 03:31
1 ответ

Должен ли тип значения в типе hadoop реализовывать доступный для записи интерфейс?

Я пытаюсь понять, как реализовать пользовательский тип значения для mapreduce Framework. Основываясь на этом посте ( MapReduce - WritableComparables), мне кажется, что тип значения должен реализовывать интерфейс Writable. Это верно? Я также следил з…
05 май '15 в 23:29
1 ответ

Обновление зависимостей записываемых вычисляемых наблюдаемых

Я пытаюсь использовать вычисляемые obockables knockout.js для настройки C#-подобных свойств модели. Я хочу, чтобы наблюдаемые принимали только допустимые значения. Упрощенный пример: function Model() { var a = 100; var b = 200; var $ = this; this.a …
10 июн '13 в 16:13
3 ответа

Реализация пользовательского типа ключа Hadoop и типа Value

Я хочу излучать key а также value как custom datatype, должен ли я реализовать 2 classes для ключа и значения? один KeyWritable implements WritableComparable а также другой ValueWritable implements Writable, Это так или один WritableComparable доста…
31 окт '13 в 06:02
1 ответ

Проблема с RDD пользовательских объектов в Spark

Я передаю тип в плоскую карту, как это; val customData: RDD[(Text/String, Custom)] = origRDD.flatMap { case(x) => parse(x)} это возвращает пару ключ-значение String и Custom (я также использовал Text на месте на String, но безрезультатно, это объ…
04 май '18 в 19:50
1 ответ

Записываемые двунаправленные сериализаторы с Django Rest Framework

У меня есть счет с 1 или несколькими product_invoice, и немного product_invoice может иметь 1 product_order (таким образом, в ProductOrder productinvoiceid плеча будет переизданием OneToOne, но это не важно для моей проблемы). Я могу получить данные…
09 май '16 в 10:17
1 ответ

MapReduce Output ArrayWritable

Я пытаюсь получить вывод из ArrayWritable в простой MapReduce-Task. Я нашел несколько вопросов с похожей проблемой, но я не могу решить проблему в своем собственном коде. Поэтому я с нетерпением жду вашей помощи. Спасибо:)! Ввод: текстовый файл с не…
07 мар '15 в 11:53
1 ответ

Как сериализовать очень большой объект в Hadoop Writable

Интерфейс Hadoop Writable опирается на "public void write(DataOutput out)" метод. Похоже, что за интерфейсом DataOutput, Hadoop использует DataOutputStream, который использует простой массив под крышкой. Когда я пытаюсь записать много данных в DataO…
22 авг '14 в 08:34
0 ответов

Текст hdfs с возможностью записи третьим лицом

Я сгенерировал файл последовательности hdfs, и он использует стороннюю библиотеку Writableпоэтому, когда я пытаюсь показать текст файла, запустив hadoop fs -text /some/file/pathЯ получаю сообщение об ошибке: text: java.io.IOException: WriableName не…
08 апр '13 в 13:15