Описание тега hivecli

Hive CLI - это оболочка командной строки Hive.
1 ответ

Можно ли использовать вывод внутреннего запроса для ввода внешнего запроса, где Caluse?

Лайк select ho from (select sourceaddress,count(sourceaddress) as src,hour(eventtime) as ho from default.fullandfinal where sourceaddress='0.0.0.0' and eventtime between '2019-05-11 00:00:00' and '2019-05-11 19:59:59' group by sourceaddress,hour(eve…
16 май '19 в 04:52
1 ответ

Как правильно использовать подстановку переменных улья

Когда я использую подстановку переменных в улье, я сталкиваюсь с некоторыми ошибками, но мне нужна ваша помощь. Мой код: set hievar:b='on t1.id=t2.id where t2.id is null'; select * from t_old as t1 full outer join t_new as t2 ${b}; когда я запускаю …
20 мар '19 в 00:31
0 ответов

Хюэ это работает, но не работает в CLI улья и pyspark ClassNotFoundException Class org.openx.data.jsonserde.JsonSerDe не найден)

У меня есть таблица улья, которая хранится в формате JSON в формате текстового файла. при запросе от hue он возвращает данные. Но если выполнить один и тот же запрос в CLI куста или во фреймах данных pyspark, выдается следующая ошибка. " СБОЙ: Runti…
11 июн '19 в 10:35
0 ответов

Таблица переноса Hive в локальный драйвер для быстрой отладки в интерфейсе командной строки

У меня есть большая таблица Hive на HDFS. Каждый раз, когда я запрашиваю его, он выполняет задание уменьшения карты, которое выполняется медленно. Для отладки моего кода в CLI мне нужен быстрый запрос. Можно ли выбрать строки таблицы и перенести их …
18 июн '20 в 00:59
0 ответов

HiveCLI не загружает escape-символ (\)

Я использую Hive 2.3.7 в Windows 7. Когда я использую HiveCLI для создания таблицы, я не могу ввести символ "\". Итак, моей целью было создать следующую таблицу из текстового файла, разделенного табуляцией: CREATE EXTERNAL TABLE ratings ( userid INT…
08 июн '20 в 22:13
0 ответов

Как передать значения переменных сценария улья в сценарий оболочки внутри него

У меня есть сценарий улья, который принимает параметры в форме --hivevar var_name="value" из beeline, и подстановка хорошо работает в запросах улья. В этом сценарии улья я хотел запустить сценарий оболочки с переменной, переданной в качестве парамет…
27 ноя '20 в 05:52
0 ответов

hive yarn - изменить номер удаленного порта (--remote-port) для Spark submit

Мы используем Hadoop 2.7.7, Spark 2.4.4 и Hive версии 2.3.3. Hive настроен на использование Spark в качестве движка, а режим развертывания - пряжа; кластер. Интерфейс командной строки улья развернут в отдельном сегменте сети, из которого нам огранич…
08 окт '20 в 07:52
1 ответ

Выполнение файла SQL Hive

Я использую Cloudera Quickview VM 5.10 Ниже приведена моя реализация, которая не работает. Создал новый файл (sample.sql) в "пользователь / улей / склад" с помощью Hue. Расширение sql. В режиме редактирования я написал код SQL (используйте testdb; в…
27 ноя '20 в 11:35
1 ответ

На примере Билайн (vs hive cli)?

У меня есть работа в sqoop через координатора oozie. После серьезного обновления мы больше не можем использовать hive cli, и нам сказали использовать beeline. Я не знаю, как это сделать? Вот текущий процесс: У меня есть файл куста: hive_ddl.hql use …
16 апр '21 в 23:23
0 ответов

Воздушный поток к удаленному подключению кластера Hive

Я пытаюсь подключиться к улью на другом сервере, но не могу установить соединение. Я столкнулся с ошибкой « FileNotFoundError: [Errno 2] Нет такого файла или каталога:« куст » ». from airflow import DAG from airflow.providers.apache.hive.operators.h…
22 ноя '21 в 19:52
0 ответов

Множество предупреждающих сообщений в hive cli после удаления класса jndiLookup

После удаления JndiLookupClass из пути к классам в $HIVE_HOME/lib/log4j-core-2.6.2.jar мы получаем несколько предупреждений при открытии hive cli, а также при выполнении запросов. Строки ошибок PFA. 2021-12-17 18:47:32,880 основной класс поиска WARN…
21 дек '21 в 12:03
0 ответов

Airflow HiveServer2Hook не может видеть ход выполнения запроса в журналах

Внутри файла Python, запускаемого BashOperator, мне нужно сгенерировать кадр данных из запроса куста. В настоящее время я использую метод get_pandas_df из HiveServer2Hook. Это работает хорошо, но в журналах Airflow я не вижу никакой информации о ход…
01 авг '22 в 07:31
0 ответов

Как установить параметры класса Hadoop в Hive, как показано здесь Pig?

Я хочу, чтобы Hive автоматически получал билет kerberos всякий раз, когда выполняется куст (точнее, оболочка улья, а не сервер улья), а также автоматически обновлял его между ними, если задание выполнялось дольше, чем тайм-аут билета. Я нашел аналог…
23 янв '23 в 19:25
0 ответов

Как настроить Hive Cli для автоматического получения билета kerberos и обновления/запроса нового, если срок его действия истекает

Привет, я новичок в Hive и kerberos. У меня есть несколько рабочих мест, которые выполняются дольше, чем срок службы билета. как я могу настроить улей так, чтобы при запуске оболочки улья, если билет не кэшировался, он автоматически запрашивал билет…
23 янв '23 в 17:38