Описание тега apache-tez
Проект Apache Tez направлен на создание инфраструктуры приложения, которая позволяет создавать сложный ориентированный ациклический граф задач для обработки данных.
0
ответов
Улей соединиться с подобным оператором
У меня есть две таблицы, которые используют сжатие ORC и использую TEZ в качестве механизма выполнения. Table_a содержит более 900 тыс. Записей, а table_b содержит 17 млн. Записей. Этот запрос занял больше времени. Я ждал 2 дня, но выполнение запрос…
12 ноя '15 в 05:59
1
ответ
org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: тайм-аут чтения
У меня есть следующие настройки перед моим оператором SQL в кусте. Тем не менее, он не может отправить запрос, я продолжаю получать TimeoutException. Когда я проверяю представление TEZ, выполняется только первый оператор анализа. Могу ли я знать, чт…
08 авг '16 в 16:57
5
ответов
Apache Tez сборка не удалась
Я пытаюсь собрать Apache Tez (версии 0.6.1 и 0.7.0) для hadoop-2.6.0 в Windows, используя команду ниже mvn clean package -Dhadoop.version=2.6.0 -DskipTests -Dmaven.javadoc.skip Но я получаю ниже исключения [INFO] [INFO] --- exec-maven-plugin:1.3.2:e…
13 июл '15 в 09:56
1
ответ
spark-sql: ошибка при инициации сеанса NoClassDefFoundError: org/apache/tez/dag/api/SessionNotRunning
Я столкнулся с проблемой при запуске сеанса spark-sql. Первоначально, когда я инициировал сеанс Spark, была видна только база данных по умолчанию (Не база данных по умолчанию Hive, а та же Spark). Чтобы просмотреть базы данных кустов, я скопировал ф…
11 окт '18 в 08:54
1
ответ
Сокращение карт и редукторов для простого запроса к очень большой таблице / представлению в Hive
У нас есть простой запрос к таблице / представлению размером примерно 5 ТБ. Мы выполняем ETL и, наконец, добавляем данные в основную таблицу, добавляя раздел. Но поскольку данные, которые мы обрабатываем, огромны, запрос порождает более 4000 мапперо…
08 янв '19 в 17:59
1
ответ
Нужна помощь в переписывании этого запроса, который использует один и тот же набор данных несколько раз, согласно плану объяснения
У нас есть запрос, выполненный нашей командой разработчиков, который требует значительных ресурсов и, глядя на план объяснения, похоже, что он использует один и тот же набор данных несколько раз. В любом случае мы можем переписать этот запрос. Тепер…
11 фев '19 в 07:21
1
ответ
Редукторы Hive Tez работают очень медленно
Я присоединился к нескольким таблицам, и общее количество строк составляет около 25 миллиардов. Кроме того, я занимаюсь агрегацией. Вот мои настройки улья, как показано ниже, которые я использую для получения окончательного результата. Я не совсем у…
02 фев '19 в 08:12
0
ответов
Java: Доступ к серверу журнала заданий и серверу временной шкалы приложений в кластере Kerberized Hadoop?
Я использовал шаблон отдыха kerberos для доступа к серверу истории заданий на kerberized hadoop, но этот код выдает мне исключение: KerberosRestTemplate kerberosRestTemplate = new KerberosRestTemplate(properties.getProperty("userKeytabPath"),propert…
19 янв '17 в 11:47
1
ответ
Сбой запроса вставки куста с кодом возврата ошибки -101
Я пытаюсь запустить простую инструкцию вставки, как показано ниже: insert into table `bwc_test` partition(call_date) select * from `bwc_master`; Тогда это терпит неудачу с ошибкой ниже: ИНФОРМАЦИЯ: Загрузка данных в раздел таблицы dtc.bwc_test (call…
13 ноя '18 в 19:17
1
ответ
HIve2 с Tez выдает ошибку выполнения
Я использую Hive2 с Tez. Когда я запускаю запрос, он дает ошибку выполнения, которая показана ниже. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask ERROR [432a4475-d246-4596-ad4c-54de6fea86c8 main] exec.Task: F…
16 июн '17 в 10:31
1
ответ
Есть ли способ динамического добавления постоянного значения ко всем записям, возвращаемым в Hive?
Я хочу сделать следующий запрос в Hive v1.2.1, где field_3 запрашивается из другой таблицы. select user_id, start_date, field_3 as stop_date from some_table; Для каждой возвращаемой записи значение field_3 та же. Проблема в том, что он хранится в др…
20 окт '17 в 04:02
1
ответ
Map-Reduce Logs на Hive-Tez
Я хочу получить интерпретацию журналов Map-Reduce после выполнения запроса в Hive-Tez? Какие строки после INFO: передает? Здесь я приложил образец INFO : Session is already open INFO : Dag name: SELECT a.Model...) INFO : Tez session was closed. Reop…
24 авг '16 в 06:17
2
ответа
Оптимизировать длительный SQL-запрос куста - имеет соединение с той же таблицей
Приведенный ниже запрос занимает много времени. Он работает с двигателем исполнения Tez. SELECT STG.EMP_TYPE, DEPT, A.TOTAL_COUNT, COUNT(DISTINCT EMP_ID) AS COUNT_DEPT FROM STAGE_SOURCE STG LEFT OUTER JOIN ( SELECT EMP_TYPE, COUNT(DISTINCT EMP_ID) A…
13 дек '15 в 20:45
1
ответ
Настройка большого задания импорта Hive
Я новичок и пытаюсь взять большой (1,25 ТБ несжатый) файл hdfs и поместить его в управляемую таблицу Hive. Это уже на HDFS в формате CSV (из sqoop) с произвольным разделом, и я помещаю его в более организованный формат для запросов и присоединения. …
10 сен '18 в 16:19
1
ответ
Разница между hive.tez.container.size и tez.task.resource.memory.mb
Кто-нибудь знает и объяснит мне, пожалуйста, разницу между этими настройками Tez? hive.tez.container.size и tez.task.resource.memory.mb Благодарю.
29 янв '19 в 10:05
0
ответов
Как выполняется упорядочение в Hadoop Map при использовании улья
При уменьшении карты (с использованием куста) предложение "упорядочить по" приводит все данные в один редуктор, а затем данные сортируются. Этот единственный редуктор работает в контейнере, созданном на одной из машин распределенной среды Hadoop. Ка…
01 мар '19 в 20:58
1
ответ
Запуск Свинья на Tez на Amazon EMR-4
Я пытаюсь запустить свинью на Tez на Amazon EMR 4.5.0. Конфигурация работает без Tez, я просто пытаюсь заставить его работать на Tez. Для создания кластера (из командной строки) мы используем (TEZ_VERSION определен как 0.5.2): --bootstrap-actions Pa…
15 апр '16 в 12:13
3
ответа
Hive: оптимизировать длительный запрос
Простой запрос Hive SQL, выполняемый для таблицы журнала сотрудников размером 50 ГБ, выполняется в течение нескольких часов. select dept,count(distinct emp_id) from emp_log group by dept; Есть только 4-5 отделов и огромное количество сотрудников на …
08 ноя '15 в 19:44
1
ответ
Тез сессия не начинается в улье
Я новичок в hadoop и пряжу и попытался выполнить запрос вставки улья на Улей 2 Билайн. Информация, которую я получаю: INFO: сессия Tez еще не создана. Открытие сеанса и моя система, казалось, зависли. Я попытался проверить журналы на порту YARN UI 8…
23 янв '19 в 12:56
1
ответ
Когда я запускаю задачу на движке использования кустов tez, возникает ошибка
2018-12-14 17:41:57,313 [INFO] [InputInitializer {Map 1} #0] |io.HiveInputFormat|: Generating splits 2018-12-14 17:41:57,331 [INFO] [InputInitializer {Map 1} #0] |log.PerfLogger|: <PERFLOG method=OrcGetSplits from=org.apache.hadoop.hive.ql.io.orc…
14 дек '18 в 10:16