Описание тега hiveql
Variant of SQL used in the Apache Hive data warehouse infrastructure. Use this tag for questions related to the Hive Query Language including HiveQL syntax and HiveQL-specific functions.
0
ответов
Выбор данных из таблицы улья
У меня есть данные временных рядов в Hive table(21.1G) в котором хранится столько частей файлов паркета в формате hdf. Таблица разделена на sid, год, дату. Мне нужно сделать запрос на выборку для этой таблицы и сделать некоторые вычисления. задание …
08 сен '17 в 18:39
0
ответов
Таблица кустов разделов на основе года / месяца из столбца меток времени
У меня есть таблица улья, которую я импортирую из Postgres, используя sqoop. Эта таблица состоит из столбца updated_at, который имеет значения меток времени. Я пытаюсь разделить таблицу по году и месяцу из этого значения метки времени. Есть ли спосо…
08 июл '16 в 14:48
1
ответ
Таблицы кустов в нескольких узлах - обработка
У меня есть концептуальные сомнения в улье. Я знаю, что Hive - это инструмент для хранения данных, работающий поверх Hadoop. Мы знаем, что Hadoop имеет распределенную файловую систему -HDFS. Предположим, у меня есть один хозяин и три раба. Теперь я …
18 мар '16 в 07:05
2
ответа
Как извлечь число с десятичной дробью в Hive, используя regexp_extract
У меня есть столбец Event_list. Поэтому я хотел бы извлечь номер после 20220=, Значение будет содержать ., но я мог только получить значение раньше ., Мой текущий запрос regexp_extract(event_list, '20220=([0-9]+)', 1) Столбец event_list похож на
21 фев '17 в 01:24
1
ответ
Как читать CSV в локальной файловой системе (не hdfs), используя hive?
Может ли Apache Hive создать внешнюю таблицу по пути локальной файловой системы linux, а не по hdf? В документации нет примеров использования локальной файловой системы, но я знаю, что с hadoop-aws jar s3 может быть внешней файловой системой. Поэтом…
11 июл '18 в 10:27
1
ответ
Ошибка куста: java.lang.Throwable: Ошибка ребенка
Я использую CDH 5.9, выполняя следующий запрос улья, он выдает ошибку. Есть идеи по этому поводу? Для обычного запроса select он работает, но для сложного запроса это приводит к ошибке. hive> select * from table where dt='22-01-2017' and field li…
23 янв '17 в 14:53
1
ответ
SemanticException [Ошибка 10025]: Строка 1:7 Выражение отсутствует в ключе GROUP BY 'stock_symbol'
Это мой запрос Hive: select a.stock_symbol,a.stock_date,a.stock_price_open,a.stock_price_high, a.stock_price_low,a.stock_price_close,b.stock_symbol, MAX(b.stock_price_high), MIN(b.stock_price_low) from YAHOO_STOCKS a join YAHOO_STOCKS b on a.stock_s…
04 дек '15 в 17:05
1
ответ
Hive - оператор "Создать таблицу" с командами "выбор запроса" и "разбиение по"
Я хочу создать разделенную таблицу в кусте. Я знаю, что сначала нужно создать структуру таблицы с помощью команды "Создать таблицу... Разделить на", а затем вставить данные в таблицу с помощью команды "Вставить в таблицу" Но я пытаюсь объединить эти…
09 авг '18 в 02:19
2
ответа
Как нормализовать колонку в улье?
Я пытаюсь нормализовать столбец в улье, что означает, что я должен сделать каждое значение в столбце делить максимальное значение в этом столбце. Например: у меня есть таблица X: A B C D 1 0.1 3 0.2 2 0.2 4 0.5 3 0.3 5 0.2 Я хочу нормализовать столб…
12 июл '17 в 13:40
0
ответов
Spark sql подзапрос
Я не могу найти проблему с запросом ниже. Он продолжает жаловаться на cannot recognize input near 'SELECT' 'wrk_prd_dt' '.' in expression specification (state=42000,code=40000) select tb1.name from dept tb1 LEFT JOIN emp lexp ON (lexp.id = tb1.id) w…
11 июл '18 в 22:21
1
ответ
Объединяя похожие данные в MySQL
У меня есть следующие данные: date | source | session | device 5/1/2016 | facebook.com/social | 5 | mobile 5/1/2016 | facebook.com/post | 50 | desktop 5/1/2016 | facebook.com/commun | 25 | mobile 5/1/2016 | pintrest.com/social | 15 | mobile 5/1/2016…
15 ноя '16 в 11:32
1
ответ
Hive SQL: выберите все строки перед событием
В Hive у меня есть следующие данные sess,person,type,number a mary I 1 a mary I 2 a mary V 3 a mary V 4 b mary I 1 b mary V 2 b mary C 3 a john I 1 a john I 2 a john V 3 a john V 4 b john I 1 b john V 2 b john C 3 Как мне выбрать все для каждого чел…
06 авг '18 в 17:05
2
ответа
Hive выделить данные в массив структур
Я пытаюсь найти способ в Hive выбрать данные из плоского источника и вывести их в массив именованных структур. Вот пример того, что я ищу... Пример данных: house_id,first_name,last_name 1,bob,jones 1,jenny,jones 2,sally,johnson 3,john,smith 3,barb,s…
03 сен '15 в 21:06
1
ответ
Трудно написать подзапрос
Я начинающий с HiveQL, я пытаюсь написать более быстрый и эффективный запрос, но у меня проблемы с ним. Может кто-нибудь помочь мне переписать этот запрос? Любые советы, которые вы можете дать для улучшения моих запросов, также будут оценены. select…
09 окт '15 в 22:09
1
ответ
Как установить свечу RDD StorageLevel в улей на свече?
В моем улье на искровой работе я получаю эту ошибку: org.apache.spark.shuffle.MetadataFetchFailedException: отсутствует выходное местоположение для перемешивания 0 спасибо за этот ответ ( Почему задания Spark терпят неудачу с org.apache.spark.shuffl…
16 янв '16 в 03:28
2
ответа
Можно ли в PIG создать поле столбца, определив значение поля столбца
Предположим, у меня есть ниже файл структурированных данных 1298712012061228765236542123049824234209374 1203972012073042198531203948203498023498023 1203712012092329385612350924395798456892345 1234812012101223423498230482034893204820398 Здесь в приве…
24 июн '15 в 04:43
1
ответ
Создание таблицы HIVE, которая фильтрует данные из CSV-файла в HDFS на основе значения в столбце.
В настоящее время у меня есть файл, который содержит данные, которые должны заполнить 9 различных таблиц. Каждая из этих таблиц имеет различное количество столбцов и типов данных, поэтому мне нужно отфильтровать исходный файл (используя первый столб…
19 июн '17 в 11:18
1
ответ
Улей объяснить план генерации
Поскольку мы знаем, что объяснение, сопровождаемое запросом в кусте, дает нам план объяснения для этого запроса в качестве вывода, возможно ли получить план объяснения в любой форме структуры данных вместо текстового формата?
23 май '18 в 06:31
1
ответ
Запрос Hive для извлечения даты и часа отдельно от строки
Мне нужно извлечь дату и час из строки столбца в улье. Таблица: select TO_DATE(from_unixtime(UNIX_TIMESTAMP(dates,'dd/MM/yyyy'))) from dates; output: 0016-01-01 0016-01-01 select TO_DATE(from_unixtime(UNIX_TIMESTAMP(dates,'hh'))) from dates; output:…
23 апр '17 в 20:49
1
ответ
Как получить свойства SerDe существующей таблицы Hive
Мой коллега создал стол в улье и добавил хитрый SerDe Regex. Я хотел бы увидеть, что такое регулярное выражение, но команда "SHOW CREATE TABLE" не имеет его. Есть ли другой способ просмотра SERDEPROPERTIES, с которой была создана таблица? Пример: hi…
31 окт '13 в 19:46