Обнаружена ошибка пространства кучи Java в Hive
При попытке просто скопировать данные из одной существующей таблицы в новую таблицу с помощью клона Создать таблицу как select * from t_table, она работает просто отлично. С другой стороны, при попытке скопировать данные из существующей таблицы в другую существующую таблицу с помощью команды Вставить в table_clone выберите column1,col2.... из t_table, это приводит к ошибке выброса пространства кучи. Исходные таблицы одинаковы в обоих случаях.
Я пробовал разные размеры для контейнера, картографа, редуктора, mapreduce.map.java.opts -Xmx5124m и т. Д., Но каждый раз выдает одну и ту же ошибку.
Несколько настроек:
yarn.scheduler.minimum-distribution-mb: 4 ГБ
yarn.scheduler.maximum-selection-mb: 6 ГБ
Память контейнера ( yarn.nodemanager.resource.memory-mb): 18 ГБ
mapreduce.map.memory.mb: 6 ГБ
mapreduce.reduce.memory.mb: 8 ГБ
mapreduce.map.java.opts: -Xmx5124m
mapreduce.reduce.java.opts: -Xmx6144m
Я не могу скопировать данные из однораздельной таблицы в другую. Хотя основным требованием является копирование из однораздельной таблицы в многораздельную таблицу.
Здесь я прилагаю журнал пряжи на некоторых сайтах размещения файлов в частях 1. http://textuploader.com/522pt2. http://textuploader.com/522pq3. http://textuploader.com/522ph4. http://textuploader.com/522pf
Мы используем быстрый запуск Cloudera, в который встроен MapReduce2.