Невозможно запустить Oryx с Hadoop
Я пытаюсь запустить Oryx с Hadoop 2.4. Hadoop успешно запускается с предупреждением:
WARN util.NativeCodeLoader: Невозможно загрузить библиотеку native-hadoop для вашей платформы... с использованием встроенных классов java, где это применимо.
Орикс также запускается успешно. Но когда я загружаю в него данные, выдается следующее исключение:
2014-08-22 14:35:05,835 ОШИБКА [Обработчик сервера IPC 3 на 37788] org.apache.hadoop.mapred.TaskAttemptListenerImpl: Задача: предпринять___404097508855_0002_m_000000_0 - завершено: org.apache.hadoop.util.NildbuppyS (2014). -08-22 14:35:05,835 ИНФОРМАЦИЯ [Обработчик сервера IPC 3 на 37788] org.apache.hadoop.mapred.TaskAttemptListenerImpl: отчет о диагностике с попытке_1408697508855_0002_m_000000_0: ошибка: org.apache.hadoop.util.NativebuL (на английском языке). -08-22 14:35:05,837 ИНФОРМАЦИЯ [обработчик события AsyncDispatcher] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: отчет о диагностике из попытке_1408697508855_0002_m_000000_0: ошибка: org.apache.hadoop.buildSupportsSnappy()Z 2014-08-22 14:35:05,840 ИНФОРМАЦИЯ [обработчик события AsyncDispatcher] org.apache.hadoop.mapreduce.v2.app.job.impl.TaskAttemptImpl: попытка_1408697508855_0002_m_000000_0_Объявление_властной_связи
Кто-нибудь сталкивался с такой проблемой раньше? Любая помощь будет заметна!
1 ответ
Я копирую несколько записей из вашей ветки в списке рассылки:
- Это может быть проблемой с установочными библиотеками Snappy, но это, похоже, решено
- Контейнеры YARN уничтожаются за выполнение ограничений виртуальной памяти. Смотрите FAQ - это может быть проблема с Java, которую вы можете обойти, изменив конфигурацию YARN.
- Последняя проблема, кажется, другая проблема с конфигурацией YARN, хотя это не ясно. Я предлагаю начать со свежей конфигурации и / или дистрибутива, который предварительно сконфигурирован и, по возможности, работает.