Описание тега hive-partitions
Используется для вопросов, касающихся перегородок в улье.
1
ответ
Hive - оператор "Создать таблицу" с командами "выбор запроса" и "разбиение по"
Я хочу создать разделенную таблицу в кусте. Я знаю, что сначала нужно создать структуру таблицы с помощью команды "Создать таблицу... Разделить на", а затем вставить данные в таблицу с помощью команды "Вставить в таблицу" Но я пытаюсь объединить эти…
09 авг '18 в 02:19
0
ответов
Почему некоторые разделы не удаляются в запросе на изменение управляемой таблицы?
Я запускаю запрос на изменение, показанный ниже. он должен удалить определенный раздел. После этого я снова вставляю записи с тем же значением раздела. Что я мог заметить, так это то, что некоторые из старых записей разделов все еще присутствуют в п…
18 май '18 в 05:39
1
ответ
Результаты выборки с условиями в улье sql
У меня есть таблица, которая не имеет первичного ключа и разделена по дате; столбцы как это: 1. user_id 2. device 3. region 4. datetime 5. and other columns Он содержит сгенерированные пользователем события из игры на сайте, они запускаются каждую с…
21 май '18 в 19:09
2
ответа
Настройка улья hive.optimize.sort.dynamic.partition
Я пытаюсь вставить в улей таблицу с динамическими разделами. Тот же запрос выполнялся нормально в течение последних нескольких дней, но теперь выдает ошибку ниже. Diagnostic Messages for this Task: java.lang.RuntimeException: org.apache.hadoop.hive.…
15 окт '15 в 11:49
2
ответа
Выбор столбца раздела
У меня есть огромный набор данных, связанных с транзакциями. Мне нужно выбрать столбец разбиения из транзакции (увеличивается каждый день) или состояния (ограниченное количество). какой идеальный выбор и почему?
18 май '18 в 12:31
1
ответ
Как создать / скопировать данные в разделы в кусте вручную
Я работаю над решением куста, в котором мне нужно добавить некоторые значения в файлы большого объема. Таким образом, вместо того, чтобы добавить их, я пытаюсь использовать метод map-Reduce. Подход ниже Создание таблицы: create external table demo_p…
12 июл '18 в 19:12
2
ответа
Могу ли я переместить данные из одного раздела куста в другой раздел той же таблицы
Мой раздел основан на год / месяц / дата. Использование SimpleDateFormat для года недели создало неправильный раздел. Данные за дату 2017-31-12 были перемещены в 2018-31-12 с использованием YYYY в формате даты. SimpleDateFormat sdf = new SimpleDateF…
24 янв '18 в 13:32
1
ответ
Вложенный статический раздел под динамический раздел
Почему в Hive мне не разрешено вложить статический раздел в динамический раздел? например, ниже разрешено INSERT OVERWRITE TABLE T PARTITION (ds='2010-03-03', hr) SELECT key, value, /*ds,*/ hr FROM srcpart WHERE ds is not null and hr>10; но это н…
21 июн '14 в 19:32
1
ответ
Как разделить таблицу по месяцам и дням в улье
Я создал таблицу с: CREATE EXTERNAL TABLE extab ( vendorID string, orderID string , ordertime string ) location '/common_folder/data' Затем я создал раздел по месяцам и дням CREATE EXTERNAL TABLE part_extab( endorID string, orderID string , ordertim…
01 сен '18 в 14:57
1
ответ
Невозможно удалить раздел таблицы кустов содержит специальный символ знак равенства (=)
вставлены данные в таблицу Hive со значением столбца раздела (CL) в виде ('CL=18'), который хранится как /db/tbname/CL=CL%3D18 (недопустимый раздел содержит специальный символ в кодировке URL для знака равенства). Согласно сообществу hortonworks, бы…
14 окт '18 в 17:40
1
ответ
Spark можно вручную указать количество разделов при выполнении textFile
Искра автоматически определит количество разделов в зависимости от размера входного файла. У меня есть два вопроса: Могу ли я указать номер раздела, а не позволить спарк решить, сколько разделов? Насколько плохо перетасовать, делая перераспределение…
19 ноя '18 в 05:19
1
ответ
Hive: получая ошибку при выполнении, выбирайте и отбрасывайте запросы Hive Partiton одновременно
Я получаю сообщение об ошибке при выполнении двух запросов одновременно. Вот сценарии. Я использую AWS EMR, и ниже приведена моя схема таблицы кустов. CREATE TABLE India (OFFICE_NAME STRING, OFFICE_STATUS STRING, PINCODE INT, TELEPHONE BIGINT, TALUK…
07 дек '18 в 07:33
1
ответ
Создать улей раздел на основе часового пояса
Я пытаюсь материализовать таблицу кустов на основе файла, который хранится как паркет в GCS, с путем, например, gs://abc/dt=02-02-2019/hr=02(физический раздел на основе UTC) Теперь я хочу создать две таблицы кустов, в которых логический раздел основ…
14 фев '19 в 13:18
0
ответов
Динамическое разбиение Hive не в состоянии записать окончательные файлы
Я пытаюсь загрузить данные из таблицы с одним столбцом, разделенным на части, в новую таблицу, в которой есть 2 разделенных столбца, причем более новый разделенный столбец является обычным столбцом из первой таблицы. Например, операторы создания таб…
14 июн '18 в 21:59
1
ответ
Как использовать значение UDF или значение столбца в операторе раздела вставки куста, а не постоянное значение
У меня есть таблица данных, созданная как показано ниже: CREATE EXTERNAL TABLE `DailyData`( `entity_id` string, `payload` string) PARTITIONED BY (`date_of_data` string) ROW FORMAT DELIMITED FIELDS TERMINATED BY '\u0010' STORED AS INPUTFORMAT 'org.ap…
26 ноя '18 в 14:15
1
ответ
Структурированная потоковая передача Spark Writestream в Hive Разделенная на внешние таблицы таблица ORC
Я пытаюсь использовать Spark Structured Streaming - writeStream API для записи во внешнюю секционированную таблицу Hive. CREATE EXTERNAL TABLE `XX`( `a` string, `b` string, `b` string, `happened` timestamp, `processed` timestamp, `d` string, `e` str…
11 авг '18 в 22:29
0
ответов
Hive description показывает раздел также в виде столбца, но описание отформатировано не
Создана таблица улья: create external table ini(id string, rand string) partitioned by (tmp string) Опишите: describe ini; Выход из оттенка: Опишите в формате: describe formatted ini; Выход из оттенка: Почему столбец раздела отображается в списке ст…
11 янв '18 в 09:04
1
ответ
Разделенный вид куста не отображает информацию о разделах
Я создал разделенный вид в Hive, как показано ниже create view if not exists view_name PARTITIONED ON(date) as select col1,col2,date from table1 union all select col1,col2,date from table2 Базовые таблицы разбиты на столбцы "дата". Когда я использую…
11 май '18 в 12:33
1
ответ
Удаляет ли раздел из таблицы кустов его подразделы?
У меня есть внешняя таблица кустов, в которой есть такие разделы, как год = 2017, год = 2018, и внутри них есть разделы для каждого месяца для года = 2017 и года = 2018. Мои вопросы: Если я отброшу раздел год = 2017, будут ли удалены все разделы мес…
05 июл '18 в 13:10
2
ответа
Как создать таблицу в разделе данных в улье?
drwxr-xr-x - супергруппа mgupta 0 2018-03-26 22:16 /kylin/ розничный продавец /qi_basket_brand_bucket_fact/_impala_insert_staging drwxr-xr-x - супергруппа mgupta 0 2018-03-26 22:18 /kylin/ розничный продавец / qi_basquet_factbu__ =CI [mgupta@sjc-dev…
29 мар '18 в 11:44