Запрос Hive Insert на EMR просто продолжает работать более 17 часов

Фон:

  • EMR 5.4 кластер из 2 узлов (ведущий + ведомый).
  • Предоставлены подробные сведения о внешнем метастафе Hive во время установки.
  • Склад Улей был установлен на S3.
  • Я использую spark 2.1 для обработки файла и создания промежуточной таблицы.
  • Когда промежуточная таблица готова, я пытаюсь загрузить эти данные в таблицу улья с помощью улья.

Проблема: оператор вставки, который обычно выполняется около 7-10 минут на другом кластере (за пределами AWS), работает на кластере EMR навсегда. Я был в состоянии запросить промежуточную таблицу, которая была создана искрой из улья. Ниже приведены заявления, которые я использую:

CREATE TABLE Test1(
column1 string ,
column2 string,
column3 double)
PARTITIONED BY (Date_1 date)

INSERT OVERWRITE TABLE Test1 PARTITION(date_1)
SELECT
column1,
column2,
column3,
date_1
FROM Test1_stag

Любая помощь будет оценена.

Спасибо

Источник

0 ответов

Другие вопросы по тегам