Описание тега hive-configuration
Будет использоваться для вопросов, связанных со свойствами конфигурации Hive.
0
ответов
pyhive: установка свойств улья с помощью pyhive
У меня сложный запрос на улей, в основе которого лежат декартовы произведения. поэтому мне нужно установить следующие свойства. но когда я выполняю эти свойства, используя pyhive, он не может выполнить. я получаю сообщение об ошибке с просьбой устан…
20 фев '19 в 10:48
1
ответ
Когда устанавливать параметры улья во время сеанса?
Я новичок в своей роли, и отчасти это требует создания / вставки данных как в управляемые, так и во внешние таблицы улья. У нас есть несколько строк "заданных" параметров, которые мы запускаем в начале сеанса куста, но я встречал несколько случаев, …
12 ноя '19 в 16:37
1
ответ
зачем нужно устанавливать свойства для динамического раздела в улье
Я хотел бы знать одну вещь в динамическом разделе улья. При создании динамических разделов мы должны установить следующие свойства SET hive.exec.dynamic.partition = true; SET hive.exec.dynamic.partition.mode = nonstrict; Без этих свойств мы не сможе…
04 фев '20 в 15:16
1
ответ
Исправляет ли msck создание статистики таблицы триггеров
Я хотел бы знать, работает ли msck repair <table> on table будет генерировать статистику таблицы для CBO, когда: hive.cbo.enable=true hive.stats.autogather=true или мне нужно использовать analyze <tablename> compute statistics. Спасибо
09 июн '20 в 16:27
1
ответ
Где находится hive-site.xml в раздаче Cloudera?
Я хотел бы знать, где находится конфигурация файла hive-site.xml в дистрибутиве Cloudera. В основном потому, что я хотел бы знать, где я могу найти такие свойства, как: hive.execution.engine=mr hive.enforce.bucketing=false hive.enforce.bucketmapjoin…
14 апр '20 в 16:54
1
ответ
Количество редукторов в группе по и подсчету (отдельные)
Мне сказали, что счетчик (отдельный) может привести к перекосу данных, потому что используется только один редуктор. Я провел тест, используя таблицу с 5 миллиардами данных с 2 запросами, Запрос A: select count(distinct columnA) from tableA Запрос B…
13 май '20 в 09:40
0
ответов
Как увеличить память улья
У меня есть небольшая таблица со 100 записями, разделенными на item_id я пытаюсь выполнить простой запросSELECT item_id, count(*) FROM table1 GROUP BY item_id; из Hue, но улей продолжает вылетать с ошибкой java.lang.OutOfMemoryError: Java heap space…
27 апр '20 в 22:34
1
ответ
Как экспортировать результат запроса улья в один локальный файл?
Я хочу экспортировать результат запроса куста в один локальный файл с разделителем каналов. Запрос Hive содержит предложение order by. Я пробовал решения ниже. Решение1: hive -e 'insert overwrite local directory '/problem1/solution' fields terminate…
25 сен '20 в 19:34
0
ответов
Как изменить память сопоставителя и редуктора для Hive Activity, работающего в конвейере данных AWS?
Я хочу изменить следующие переменные: -hiveconf mapreduce.map.memory.mb=10240 -hiveconf mapreduce.reduce.memory.mb=10240 \ Как я могу это сделать во время работы конвейера данных? Аналогичный вопрос: как изменить настройки памяти для Hive Activity, …
08 ноя '20 в 19:01
0
ответов
hadoop.tmp.dir не работает в нужном месте
В моем core-site.xml я изменил расположение в другом большом HHD ( ), этот HHD не является местоположением linux /tmp, затем отформатировал мой namenode, запустил мои dfs и yarn, я считаю, что это сработало. Но расположение по умолчанию отображается…
28 июл '21 в 05:48
2
ответа
Как передать Hive conf с помощью sqoop job
Как передать параметр hive conf с заданием импорта Sqoop. SET hive.tez.container.size=4096 Я использую эту конфигурацию улья из улья cli каждый раз.
04 фев '21 в 12:51
0
ответов
Есть ли способ настроить конфигурацию Hive с помощью Hive magic в блокноте Jupyter?
Я использую Jupyter Notebook для обработки данных в Hive и хочу настроить конфигурацию Hive с помощью магии Hive. Есть ли способ сделать это? Пример кода ниже не работает (пожалуйста, рассматривайте их как одну ячейку Jupyter Notebook в каждом блоке…
24 янв '22 в 20:22
1
ответ
Проверка параллелизма одного и нескольких запросов Hive
Я настроил параллелизм Hive с указанными ниже свойствами hive-site.xml и перезапустил кластер. Свойство 1 Name: hive.exec.parallel Value: true Description: Run hive jobs in parallel Свойство 2 Name: hive.exec.parallel.thread.number Value: 8 (default…
04 янв '21 в 15:22
1
ответ
как убрать оператор ADD jar в старте билайн
Как удалить выписку, которая произошла при запуске терминала билайн? У меня есть оператор AD jar по умолчанию, когда я запускаю Beeline, и у меня нет этого jar, в котором возникает сообщение об ошибке: ADD JAR /usr/share/hive3-dim-lookup/dimlookup-h…
27 янв '21 в 05:42
1
ответ
Команда Apache Hive
У меня такой вопрос: Показать 5 лучших игровых дисциплин для стран, набравших более 10 золотых медалей. мой код: выбрать отдельные t.discipline, m.team из команд t присоединиться к медалям m on (t.noc=m.team и m.numbergold>10) заказать по m.team;…
19 ноя '22 в 14:54
0
ответов
Как установить параметры класса Hadoop в Hive, как показано здесь Pig?
Я хочу, чтобы Hive автоматически получал билет kerberos всякий раз, когда выполняется куст (точнее, оболочка улья, а не сервер улья), а также автоматически обновлял его между ними, если задание выполнялось дольше, чем тайм-аут билета. Я нашел аналог…
23 янв '23 в 19:25
0
ответов
Как настроить Hive Cli для автоматического получения билета kerberos и обновления/запроса нового, если срок его действия истекает
Привет, я новичок в Hive и kerberos. У меня есть несколько рабочих мест, которые выполняются дольше, чем срок службы билета. как я могу настроить улей так, чтобы при запуске оболочки улья, если билет не кэшировался, он автоматически запрашивал билет…
23 янв '23 в 17:38