Описание тега metastore

Вопросы с тегом
1 ответ

Ограничение ширины столбца Hive Metastore

Используя AWS EMR в версии 5.2.1 в качестве среды обработки данных, при работе с огромным файлом JSON, имеющим сложную схему со многими вложенными полями, Hive не может обработать его и выдает ошибки, так как он достигает текущего предела длины стол…
01 фев '17 в 17:42
0 ответов

Получить ошибку при входе в улей

Я получаю ошибку ниже, когда запускаю улей из hadoop. Я понятия не имею, что это значит. Пожалуйста помоги. [hadoop@cacti ALL_EDR]$ hive Ведение журнала инициализировано с использованием конфигурации в jar:file:/cdr/work/hive/lib/hive-common-1.2.1.j…
19 сен '17 в 10:59
2 ответа

Hive Metastore и Connection отказались от ошибок при входе в Hive Shell

Я пытаюсь попасть в hive оболочки, но я получаю следующие ошибки: ubuntu@group-3-vm1:~$ cd $HIVE_HOME ubuntu@group-3-vm1:~/software/hive-1.2.1$ ubuntu@group-3-vm1:~/software/hive-1.2.1$ hive Logging initialized using configuration in jar:file:/home/…
17 сен '15 в 01:42
1 ответ

Для чего нужен метастор в Спарк?

Я использую SparkSQL в Python. Я создал многораздельную таблицу (~ несколько сотен разделов) и сохранил ее во внутренней таблице Hive, используя hiveContext. Улей склад находится в S3. Когда я просто делаю "df = hiveContext.table("mytable"). Это зай…
21 июн '15 в 17:15
0 ответов

Как исправить, если индексы повреждены в метастазах кустов. и таблица разделов выдает ошибки

Я работаю над проектом, в котором мы используем встроенную CDH postGreSQL. Несколько дней назад мы начали определять 2 вещи. Таблицы (таблицы кустов), создаваемые Sqoop, не работали, а также не удавалось создавать динамические многораздельные таблиц…
29 май '14 в 02:00
1 ответ

Hive Remote Metastore & Transaction

Я включил транзакцию и использовал удаленное хранилище метастазов (MySQL - MariaDB) в Hive, отредактировав hive-site.xml, как показано ниже: configuration> <property> <name>hive.support.concurrency</name> <value>true</v…
22 авг '15 в 11:29
1 ответ

Как перенести улей дерби metastore в postgres metastore

Я уже давно использую дерби в качестве метастазы в улье. Есть ли способ перенести метастаз в Postgresql. Я использую Apache Hive - 0.13
18 мар '16 в 18:16
3 ответа

Улей metastore, страдающий от Kerberos "Ошибка перекоса часов"

Недавно мы сталкивались с проблемой, описанной в названии, один раз в месяц. На узле metastore мы установили и запустили службу ntpd для синхронизации времени с сервером kerberos. Krb5.conf на узле выглядит так: [libdefaults]default_realm = EXAMPLE.…
30 мар '16 в 03:36
1 ответ

Невозможно выполнить любой запрос к таблице

Пока я выполняю следующий запрос SELECT * FROM table_unfilter WHERE date='2010-08-01'; я получаю Сбой: ошибка в получении блокировок: ошибка связи с метастазами Когда я устанавливаю параллелизм улья в ложь, я получаю Не удалось использовать dbtxnman…
26 фев '19 в 12:38
0 ответов

java.lang.RuntimeException: Невозможно создать экземпляр...SessionHiveMetaStoreClient, используя derby, hive 2.1.1 и hadoop 2.7.3

У меня есть эта ошибка, когда я пытаюсь запустить улей оболочки: Exception in thread "main" java.lang.RuntimeException: org.apache.hadoop.hive.ql.metadata.HiveException: java.lang.RuntimeException: Unable to instantiate org.apache.hadoop.hive.ql.met…
27 апр '17 в 13:32
0 ответов

Hive Metastore - Как использовать клиентский API для получения строки таблицы?

Я могу использовать HiveMetaStoreClient getTable функция. Однако здесь нет всей необходимой мне информации (например, параметры функции SerDe при создании таблицы). Есть ли способ для меня использовать Hive Metastore, чтобы увидеть вызов создания та…
24 июл '16 в 00:50
1 ответ

Невозможно запустить Hive на Mac с MySQL

У меня возникли проблемы с обновлением моей локальной среды разработки на macOS 10.12.3 до Hive с mySQL, так как раньше я использовал локальное хранилище метаданных derby. Всякий раз, когда я начинаю улей, я получаю следующие исключения: Exception i…
26 фев '17 в 23:57
3 ответа

Где хранится схема Avro, когда я создаю таблицу кустов с предложением STORED AS AVRO?

Существует как минимум два разных способа создания таблицы кустов с данными Avro: 1) Создание таблицы на основе схемы Avro (в этом примере хранится в hdfs): CREATE TABLE users_from_avro_schema ROW FORMAT SERDE 'org.apache.hadoop.hive.serde2.avro.Avr…
30 май '17 в 07:45
1 ответ

Исключение при запуске spark-shell: исключение при получении информации о столбце схемы из хранилища данных

Я использую Spark 2.1.1. с mysql в качестве бэкэнда для metastore. При запуске моей искровой оболочки я сталкиваюсь с этим исключением: 17/10/17 21:02:58 WARN Query: Query for candidates of org.apache.hadoop.hive.metastore.model.MTableColumnStatisti…
17 окт '17 в 19:10
0 ответов

Остановка сеанса искры не закрывает подключения к MySQL метастор

Я использую Spark 2.3.1 и Connector / J 5.1.47. Я написал простую программу, чтобы проверить соединение с метастазами: from pyspark.context import SparkContext from pyspark.sql import SparkSession from pyspark.conf import SparkConf conf = SparkConf(…
28 авг '18 в 12:52
0 ответов

Проверка подлинности keytab Java Kerberos, ошибка входа в систему UserGroupInformation.loginUserFromKeytab

Я пытаюсь заставить работать аутентификацию Kerberos Keytab из Java в Hive и не могу найти решение, чтобы решить проблему. org.apache.hadoop.conf.Configuration conf = new org.apache.hadoop.conf.Configuration(); conf.set("hadoop.security.authenticati…
15 сен '15 в 06:10
0 ответов

Как принудительно закрыть подключения метастораков Spark Hive к mysql после остановки контекста?

Я использую Spark для запросов к Hive с последующими преобразованиями. Приложение My Scala создает несколько приложений Spark. Новое приложение spark создается только после закрытия SparkSession и Spark Context предыдущего приложения Spark. Однако п…
15 авг '17 в 02:28
0 ответов

Запрос Hive Insert на EMR просто продолжает работать более 17 часов

Фон: EMR 5.4 кластер из 2 узлов (ведущий + ведомый). Предоставлены подробные сведения о внешнем метастафе Hive во время установки. Склад Улей был установлен на S3. Я использую spark 2.1 для обработки файла и создания промежуточной таблицы. Когда про…
16 мар '17 в 14:15
3 ответа

Невозможно изменить или удалить большие разделенные таблицы Imapa - CAUSED BY: MetaException: Тайм-аут при выполнении

У меня есть несколько секционированных таблиц Impala, которые имеют более 50 тыс. Разделов, они работают хорошо, кроме операций Hive Metastore, таких как DROP а также ALTER... RENAME, Я сталкиваюсь с этим сообщением об ошибке: Запрос: дроп таблицы а…
02 окт '17 в 10:04
0 ответов

Улей отбрасывает перегородки, используя метастазирование по дальности

Я использую Hadoop 2.6.0-cdh5.14.2, Hive 1.1.0-cdh5.14.2 В этой системе существует огромная таблица с разделом 183K+, это внешняя таблица и команда: 0: jdbc:hive2://hiveserver2.hd.docomodigital.> drop table unifieddata_work.old__raw_ww_eventsjson…
21 авг '18 в 15:58