Невозможно проверить serde: org.openx.data.jsonserde.jsonserde

Я написал этот запрос, чтобы создать таблицу в улье. Мои данные изначально в формате json, поэтому я скачал и собрал serde и добавил все jar-файлы, необходимые для его работы. Но я получаю следующую ошибку:

FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask. Cannot validate serde: org.openx.data.jsonserde.JsonSerDe

QUERY:

create table tip(type string,
  text string,
  business_id string,
  user_id string,
  date date,
  likes int)
ROW FORMAT SERDE 'org.openx.data.jsonserde.JsonSerDe'
WITH SERDEPROPERTIES("date.mapping"="date")
STORED AS TEXTFILE;
Источник

2 ответа

Я тоже столкнулся с этой проблемой. В моем случае мне удалось решить эту проблему, добавив json-serde-1.3.7-SNAPSHOT-jar-with-dependencies.jar в hive командная строка, как показано ниже:

hive> ADD JAR /usr/local/Hive-JSON-Serde/json-serde/target/json-serde-1.3.7-SNAPSHOT-jar-with-dependencies.jar;

Ниже приведены шаги, которые я выполнил в Ubuntu 14.04:

1. Fire up Linux terminal and cd /usr/local

2. sudo git clone https://github.com/rcongiu/Hive-JSON-Serde.git

3. sudo mvn -Pcdh5 clean package

4. The serde file will be in 
   /usr/local/Hive-JSON-Serde/json-serde/target/json-serde-1.3.7-SNAPSHOT-jar-with-dependencies.jar

5. Go to hive prompt and ADD JAR file as shown in Step 6.

6. hive> ADD JAR /usr/local/Hive-JSON-Serde/json-serde/target/json-serde-1.3.7- SNAPSHOT-jar-with-dependencies.jar;

7. Now create hive table from hive> prompt. At this stage, Hive table should be created successfully without any error.

Hive Версия: 1.2.1

Hadoop Версия: 2.7.1

Ссылка: Hive-JSON-Serde

Источник

Вы должны построить клонированный проект, используя Maven!

mvn установить в каталог /path/directory/Hive-JSON-Serd здесь мы находимся в /usr/local

Источник
Другие вопросы по тегам