Описание тега tez
Проект Apache Tez™ направлен на создание инфраструктуры приложения, которая позволяет создавать сложный ориентированный ациклический граф задач для обработки данных. В настоящее время он построен на базе Apache Hadoop YARN.
1
ответ
org.apache.thrift.transport.TTransportException: java.net.SocketTimeoutException: тайм-аут чтения
У меня есть следующие настройки перед моим оператором SQL в кусте. Тем не менее, он не может отправить запрос, я продолжаю получать TimeoutException. Когда я проверяю представление TEZ, выполняется только первый оператор анализа. Могу ли я знать, чт…
08 авг '16 в 16:57
0
ответов
Поддержка Preemption с Tez вместе с планировщиком пряжи FairShare поддерживается?
В последнее время мы переключаем наш кластер из 10 узлов с MapReduce на Tez, и с тех пор у нас возникают проблемы с управлением ресурсами. Кажется, выгрузка не работает, как ожидалось: приходит очень трудоемкая работа, она получает все бесплатные ре…
27 июн '18 в 16:35
0
ответов
Запросы Hive заблокированы - Tez всегда показывает RUNNING
Я пытаюсь создать много таблиц в Hive, но создание каждой таблицы занимает 3 минуты. Физически таблица создается немедленно, и я вижу результат в представлении Hive, но в терминальных запросах кустов блокируется до 3-х минутного прохода. Можете ли в…
25 апр '18 в 07:54
3
ответа
Улей выполнить "вставить в... значения..." очень медленно
Я строю кластер Hadoop & Hive и пытаюсь сделать некоторые тесты. Но это действительно медленно. Таблица таблица value_count +--------------------------------------------------------------+--+ | createtab_stmt | +-------------------------------------…
31 май '17 в 09:14
1
ответ
Hive запрос не запускает фазу карты
У меня есть простой запрос, который я пытаюсь запустить в Hive 0.14: select sum(tb.field1), sum(tb.field2), tb.month from dbwork.mytable tb group by tb.month; который разделен month, Он застревает на этапе карты: INFO : Map 1: -/- Reducer 2: 0/486 I…
03 фев '16 в 12:16
2
ответа
Ошибка при использовании функции "Collect_List()" в улье
Всякий раз, когда я запускаю функцию "collect_list" в Hive, она всегда выдает ошибку: Query ID = xxxxx Total jobs = 1 Launching Job 1 out of 1 Failed to get session FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTa…
20 апр '17 в 19:13
1
ответ
HIve2 с Tez выдает ошибку выполнения
Я использую Hive2 с Tez. Когда я запускаю запрос, он дает ошибку выполнения, которая показана ниже. FAILED: Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.tez.TezTask ERROR [432a4475-d246-4596-ad4c-54de6fea86c8 main] exec.Task: F…
16 июн '17 в 10:31
2
ответа
TezTask vertex Faliure на Amazone EMR более s3
Я создал таблицу Hive поверх EMR, которая выглядит как create external table tests3( transaction_id String, order_id String, user_id String, amount String, subscriber_number String, product_type String, provider String, region String, status String,…
22 дек '17 в 06:14
0
ответов
Оптимизация SQL-запросов с помощью механизма выполнения
Моя задача состоит в том, чтобы оптимизировать запросы SQL, направляя их различным механизмам выполнения на основе их семантики и других внешних факторов. Я хотел бы сравнить эти движки, но я не уверен, по каким критериям проверять запросы, так как …
25 окт '17 в 11:15
1
ответ
Как повторное использование контейнера работает в Apache Tez? При повторном использовании какие данные хранятся в общем месте?
В то время как Apache tez повторно использует контейнеры, происходит процесс. Кто-нибудь может объяснить мне ясно?
27 июл '17 в 09:05
1
ответ
Не вижу никаких дагов в тезе
Я могу запустить улей на Tez, но не вижу никакой работы в Tez UI. И это сведет меня с ума! и пользователь и имя являются нулевыми на сервере временной шкалы Конфиг это удар: tez-site.xml <property> <name>tez.history.logging.service.class…
27 май '16 в 13:05
1
ответ
Сбой задачи Hadoop Hive TEZ (для запуска контейнера)
У меня есть hadoop-2.8.3, hive-2.3.2 и tez (пробная версия 0.9 и 0.8.5). tez-site basic conf: tez.lib.uris: /apps/tez/apache-tez-0.8.5-bin.tar.gz (загружено в hdfs) tez.use.cluster.hadoop-libs: false Контейнерный журнал stderr показывает: Error: Cou…
25 янв '18 в 13:35
1
ответ
hive on tez не поддерживает федерацию hdfs
Улей версия apache hive-2.1.0Тез-версия Apache tez-0.8.4я поставил tez.lib.uris=viewfs://nsX/nameservice/hive/lib/tez-0.8.4-zdh7.1.1-SNAPSHOT-minimal.tar.gz когда я запускаю тез на улей, всегда возникает проблема 2017-03-23T15:26:24,255 INFO client.…
23 мар '17 в 07:35
1
ответ
Hive / Tez работа не начнется
Я пытаюсь создать ORC table в Hive путем импорта из текстового файла в HDFS. Я пробовал несколько разных способов, искал в Интернете помощь, и независимо от того, задание вставки не запустится. Я могу получить текстовый файл в HDFS, я могу прочитать…
20 фев '16 в 18:49
2
ответа
"INFO: сеанс Tez еще не создан. Открытие сеанса" повесить
Я работаю с HDP 2.3.0.0-2557 и пытаюсь выполнить запрос улья, как показано ниже: beeline> !connect jdbc:hive2://localhost:10000 Connecting to jdbc:hive2://localhost:10000 Enter username for jdbc:hive2://localhost:10000: root Enter password for jd…
13 июл '16 в 06:24
2
ответа
Улей запрос слишком медленный и не удалось
Я выполнил запрос "group by" в таблице Hive TXT select day,count(*) from mts_order where source="MTS_REG_ORDER" group by day; но это показывает: Error: Error while processing statement: FAILED: Execution Error, return code 2 from org.apache.hadoop.h…
22 июн '17 в 09:43
0
ответов
Abinitio: Ошибка при написании таблиц кустов - формат ORC
Environment: MapR- 5.2 Hive-2.1 Tez-0.8 Abinitio GDE -3.2.7 Мы пытаемся записать работу с несколькими файлами Abinitio в таблицу Hive с форматами ORC и PARQUET. но задания Abinitio терпят неудачу с этой ошибкой, Error from Component 'Write_Hive_Tabl…
22 сен '17 в 11:55
0
ответов
Почему работа пряжи терпит неудачу?
Я пытаюсь запустить задание mapreduce, но получаю сообщение об ошибке при удалении заданий в оболочке или в кусте: hive> select count(*) from employee ; Идентификатор запроса = mapr_20171107135114_a574713d-7d69-45e1-aa73-d4de07a3059b Всего задани…
07 ноя '17 в 13:00
1
ответ
Hive + Tez:: Запрос на соединение застрял в последних 2 мапперах на долгое время
У меня есть таблица представлений, соединяющаяся с временной таблицей с намеренно включенными ниже параметрами. hive.auto.convert.join=true; hive.execution.engine=tez; Фрагмент кода есть, CREATE TABLE STG_CONVERSION AS SELECT CONV.CONVERSION_ID, CON…
12 мар '18 в 18:28
0
ответов
Использование Hive для распространения по редукторам?
Самая расстраивающая часть этой проблемы заключается в том, что очевидным ответом является "исправить исходную таблицу!" - что, к сожалению, я не могу сделать (это управляется и поддерживается другой командой на работе, которая отказывается помочь).…
07 сен '17 в 14:59