"INFO: сеанс Tez еще не создан. Открытие сеанса" повесить
Я работаю с HDP 2.3.0.0-2557 и пытаюсь выполнить запрос улья, как показано ниже:
beeline> !connect jdbc:hive2://localhost:10000
Connecting to jdbc:hive2://localhost:10000
Enter username for jdbc:hive2://localhost:10000: root
Enter password for jdbc:hive2://localhost:10000: ******
Connected to: Apache Hive (version 1.2.1.2.3.0.0-2557)
Driver: Hive JDBC (version 1.2.1.2.3.0.0-2557)
Transaction isolation: TRANSACTION_REPEATABLE_READ
0: jdbc:hive2://localhost:10000> select * from iitest1;
+----------------+----------------+----------------+----------------+----------------+----------------+-------------------------------------------------------------------------------------------------------+--+
| iitest1.it1c1 | iitest1.it1c2 | iitest1.it1c3 | iitest1.it1c4 | iitest1.it1c5 | iitest1.it1c6 | iitest1.it1c7 |
+----------------+----------------+----------------+----------------+----------------+----------------+-------------------------------------------------------------------------------------------------------+--+
| 10 | 84000 | A | A | Jonathan | Liu | DGGBNEKBRXLBGKTPAGNPEBOQPIPDUAJLTLMRATQPKFPULKKXKGFFWHGOXFFJFLIFKITHKUQSPNFLQKFUIWHXLSTHPBKLMNUSQWOB |
| 56 | 46000 | F | F | 12345 | 12345 | GIIWEVNSPPRLRDKWIXAUFHVNNJISHUWQADQMLWDBRWKWFSXDDXBGDVFRAWEOBTXXRTMMMAOIQUSQBEUGMQKNHFEBFUQECDAOWJMN |
| 45 | 77000 | K | K | Lucy | King | HJMTHFFEQBSSCHWSGKNHIQFNKMQFNQHQKNTGSRLVFFJXOAFTDARTMVOCWFIAMICLAVCJBWVKQWAPLBEXMLDGGSVVDJXBDTFLQORQ |
| NULL | 77000 | K | K | Lucy | King | HJMTHFFEQBSSCHWSGKNHIQFNKMQFNQHQKNTGSRLVFFJXOAFTDARTMVOCWFIAMICLAVCJBWVKQWAPLBEXMLDGGSVVDJXBDTFLQORQ |
+----------------+----------------+----------------+----------------+----------------+----------------+-------------------------------------------------------------------------------------------------------+--+
4 rows selected (8.578 seconds)
0: jdbc:hive2://localhost:10000> select max(it1c1) from iitest1;
INFO : Tez session hasn't been created yet. Opening session
Потом ничего не появляется, и кажется, что с "Тезом" что-то не так.
Кроме того, я пытаюсь выполнить тот же запрос, используя "mapreduce" вместо "tez", и также повисает задание mapreduce (запустите Hive CLI, используя hive -hiveconf hive.execution.engine=mr
hive> select max(IT1C1+IT1C2) from iitest1;
Query ID = root_20160713172448_09ccc9e6-c70d-4e56-b428-e511f62db9a6
Total jobs = 1
Launching Job 1 out of 1
Number of reduce tasks determined at compile time: 1
In order to change the average load for a reducer (in bytes):
set hive.exec.reducers.bytes.per.reducer=<number>
In order to limit the maximum number of reducers:
set hive.exec.reducers.max=<number>
In order to set a constant number of reducers:
set mapreduce.job.reduces=<number>
Starting Job = job_1468423564920_0003, Tracking URL = http://sandbox.hortonworks.com:8088/proxy/application_1468423564920_0003/
Kill Command = /usr/hdp/2.3.0.0-2557/hadoop/bin/hadoop job -kill job_1468423564920_0003
Interrupting... Be patient, this might take some time.
Press Ctrl+C again to kill JVM
killing job with: job_1468423564920_0003
Hadoop job information for Stage-1: number of mappers: 0; number of reducers: 0
2016-07-13 17:49:56,510 Stage-1 map = 0%, reduce = 0%
Ended Job = job_1468423564920_0003 with errors
Error during job, obtaining debugging information...
FAILED: Execution Error, return code 2 from org.apache.hadoop.hive.ql.exec.mr.MapRedTask
MapReduce Jobs Launched:
Stage-Stage-1: HDFS Read: 0 HDFS Write: 0 FAIL
Total MapReduce CPU Time Spent: 0 msec
hive> exit
> ;
Мне интересно, кто-нибудь может предложить несколько советов о том, как решить проблему?
Большое спасибо!
РЕДАКТИРОВАТЬ 1: Я нашел следующую ссылку и на основе ссылки, кажется, что не хватает ресурсов для Tez. Итак, мне интересно, как я могу очистить ресурсы, чтобы у меня было достаточно ресурсов для tez.
2 ответа
У меня та же проблема с тобой.
Я решил это, изменив следующее..
уменьшить конфигурацию Tez: tez.am.resource.memory.mb =256
по умолчанию 2048 .
и Увеличить Yarn: память, выделенная для всех контейнеров YARN на узле.
Я предполагаю, что при использовании Hive Cli Tez требуется {tez.am.resource.memory.mb} память. когда {Памяти, выделенной для всех контейнеров YARN на узле}, не хватает памяти. Тогда идентификатор приложения зависает.
У меня была похожая проблема. Это может быть другой процесс, который блокирует ваш сеанс Tez для запуска - это был Spark Thrift Server, который блокировал его в моем случае. Контролируйте вещи на своем узле ResourceManager (порт Web UI по умолчанию - 8088, см. Здесь внизу страницы). После того, как Thrift-серверы были убиты, это стало очарованием!