Описание тега elephantbird
Elephant-bird - это коллекция Twitter от LZO и Hadoop, Pig, Hive и HBase, связанных с протоколом буфера.
2
ответа
Ошибка построения слона
Я пытаюсь собрать пакет слонов-птиц в Твиттере, чтобы использовать его со Свинью, но получаю сообщение об ошибке: [INFO] Elephant Bird ..................................... SUCCESS [0.638s] [INFO] Elephant Bird Hadoop Compatibility ................ …
21 окт '13 в 21:00
1
ответ
Сбой сборки слона-птицы
Поскольку я хотел использовать Elephant bird для чтения / записи файлов JSON в PIG, скачал EB для Mac git clone git://github.com/kevinweil/elephant-bird.git и попытался построить с помощью mvn package и сборка не удалась, как показано ниже, [INFO] -…
05 авг '13 в 04:32
0
ответов
Запишите данные, которые могут быть прочитаны ProtobufPigLoader из Elephant Bird
Для моего проекта я хочу проанализировать около 2 ТБ объектов Protobuf. Я хочу использовать эти объекты в Pig Script через библиотеку "elephant bird". Однако мне не совсем ясно, как записать файл в HDFS, чтобы он мог использоваться классом ProtobufP…
13 фев '12 в 17:30
1
ответ
Апачская свинья / твиттер слон-птица Json парсер ClassCastException
Я пытаюсь разобрать довольно простой файл json, используя Pig и библиотеку Twitter-слона, но это превращается в очень болезненный процесс отладки. JSON имеет следующую структуру: oid_id: (oid:chararray), bookmarks: {( oid_id:(oid:chararray), id:char…
03 янв '19 в 15:11
1
ответ
Загрузка данных из HDFS не работает с Elephantbird
Я пытаюсь обработать данные с помощью elephantbird in pig, но мне не удается загрузить данные. Вот мой сценарий свиньи: register 'lib/elephant-bird-core-3.0.9.jar'; register 'lib/elephant-bird-pig-3.0.9.jar'; register 'lib/google-collections-1.0.jar…
26 июл '13 в 10:40
1
ответ
Json разбор со слоненком в Свинье
Я не могу получить следующие данные для анализа в Pig. Это то, что возвращает Twitter API после получения всех твитов от определенного пользователя. Исходные данные: (Я удалил несколько номеров, чтобы случайно не вторгаться в частную жизнь кого-либо…
03 ноя '14 в 15:49
2
ответа
Свинья Работа зависает при использовании Elephant Bird jsonLoader
Это в продолжение этого Мой новый сценарий свиньи: register /usr/hdp/current/pig-client/lib/piggybank.jar register /opt/elephantbird-jars/elephant-bird-core-4.5.jar register /opt/elephantbird-jars/elephant-bird-hadoop-compat-4.5.jar register /opt/el…
20 окт '16 в 15:03
0
ответов
Установка Слоновой Птицы Twitter
Я пытаюсь установить в твиттере парсер Elephant Bird и следую инструкциям на официальной странице github. Но каждый раз сборка не удалась. Я даже не уверен, правильно ли я делаю это, потому что каждый раз, когда я строю, у меня появляется ошибка, ко…
17 окт '16 в 15:15
1
ответ
ElephantBird ERROR 1070: --- > класс не читается
Моя проблема похожа на этот вопрос без ответа: [ https://stackru.com/questions/42140344/elephantbird-dependency-jars][1] Я зарегистрировал все банки, обязательные для функционирования слонов. REGISTER '/MyJARS/elephant-bird-hadoop-compat-4.1 REGISTE…
21 фев '17 в 13:56
1
ответ
Разбор комплексного вложенного JSON в Pig
Я хочу проанализировать набор данных JSON Billionaires в Pig. Файл JSON можно найти здесь. Вот что имеет каждая запись: { "wealth": { "worth in billions": 1.2, "how": { "category": "Resource Related", "from emerging": true, "industry": "Mining and m…
12 ноя '16 в 19:47
1
ответ
Ошибка пакета mvn Elephant-bird
Я установил hadoop 2.2 в моей системе. Я хочу использовать банку Elephant-Bird. Получаю следующую ошибку при запуске "mvn package". Ошибка: [ERROR] Failed to execute goal org.apache.maven.plugins:maven-compiler-plugin:2.3.2:compile (default-compile)…
24 ноя '13 в 21:37
1
ответ
Как использовать JsonLoader в pig для загрузки данных
Предположим, у меня есть файл JSON в этой форме: {"kind": "youtubeAnalytics#resultTable", "rows": [["2015-03-23", "a1jkKOrbYuQ", 141],["2015-03-24", "a1jkKOrbYuQ", 14]]} {"kind": "youtubeAnalytics#resultTable", "rows": [["2014-03-23", "a1jkKzubYuQ",…
30 мар '15 в 15:15
1
ответ
ElephantBird UDF: ORDER BY в поле json генерирует синтаксическую ошибку
Я использую Pig 0.13.0 на Hadoop 1.2.1. Для обработки файлов JSON я также использую ElephantBird UDF версии 4.5. До сих пор у меня не было большой проблемы с UDF, но когда я попытался упорядочить псевдоним по полю json, компилятор pig не очень обрад…
01 окт '14 в 05:21
1
ответ
Свинья: Создать JSON-файл с фактическим именем ключа и значениями
У меня есть сценарий свиньи с использованием загрузчика JSON. data_input = LOAD '$DATA_INPUT' USING com.twitter.elephantbird.pig.load.JsonLoader() AS (json:map []); x = FOREACH data_input GENERATE json#'user__id_str', json#'user__created_at', json#'…
19 окт '16 в 19:27
0
ответов
Чтение / запись прототипов lzo данных из hdfs с использованием elephant-bird в java mapreduce
В настоящее время я нуждаюсь в доступе к данным, хранящимся в HDFS в блочном формате protoZf LZO. Я обычно обращаюсь к нему с помощью Pig и выполняю необходимую обработку, но мое текущее требование - прочитать данные, разбить их и сохранить в динами…
27 сен '17 в 13:07
1
ответ
Используйте слоновую птицу с ульем, чтобы прочитать данные протобуфа
У меня похожая проблема, как эта Вот что я использовал: CDH4.4 (улей 0.10) Protobuf-ява-.2.4.1.jar слон-птица-улей-4,6-SNAPSHOT.jar слон-птица-ядро-4,6-SNAPSHOT.jar слон-птица-Hadoop-Compat-4,6-SNAPSHOT.jar Файл jar, в который входит скомпилированны…
06 янв '15 в 04:07
1
ответ
Как загрузить файл с массивом JSON на строку в Pig Latin
Существующий скрипт создает текстовые файлы с массивом объектов JSON на строку, например, [{"foo":1,"bar":2},{"foo":3,"bar":4}] [{"foo":5,"bar":6},{"foo":7,"bar":8},{"foo":9,"bar":0}] … Я хотел бы загрузить эти данные в Pig, взорвав массивы и обрабо…
08 ноя '13 в 16:12
0
ответов
Зарегистрированный elephantbird все еще показывает ошибку 2998
grunt> register '/home/piyush/Desktop/pro/json-simple-1.1.1.jar' grunt> register '/home/piyush/Desktop/pro/elephant-bird-pig-4.1.jar' grunt> register '/home/piyush/Desktop/pro/elephant-bird-hadoop-compat-4.1.jar' grunt> register '/home/p…
26 янв '17 в 02:00
0
ответов
ElephantBird не работает с AWS EMR
Я пытаюсь запустить скрипт Pig вместе с ElephantBird в AWS EMR. Я использую Hadoop 2.x для этого, но получаю следующее сообщение: 2014-09-09 14:53:11,001 INFO [main] org.apache.hadoop.mapred.MapTask: начало сброса вывода карты 2014-09-09 14:53:11 02…
10 сен '14 в 06:34
1
ответ
Невозможно десериализовать данные Protobuf (2.6.1), используя слоновую птицу и Hive в AWS
Я не могу десериализовать данные protobuf, в которых есть повторяющаяся строка, используя elephant-bird 4.14 с Hive. Похоже, это связано с тем, что функция многократных строк доступна только в Protobuf 2.6, а не в Protobuf 2.5. При выполнении моих з…
31 мар '17 в 12:07