Почему Spark Notebook в Hue сообщает об ошибке "Ошибка 504 тайм-аута шлюза"?

Question

Я использую мини-кластер Hadoop 2.2.6 (1 ведущий и 3 подчиненных) с Ambari 2.1.0 и Hue 3.8.1, Ubuntu 12.04. Spark 1.2.1 (с использованием Scala 2.10.3) был установлен как часть установки Ambari. Я установил Livy-Server, чтобы иметь возможность использовать Spark Notebook в Hue. Конфигурация в файле hue.ini выглядит следующим образом:

[spark]

# Host address of the Livy Server.

livy_server_host=host1.com

# Port of the Livy Server.

livy_server_port=8998

# Configure livy to start with 'process', 'thread', or 'yarn' workers.

livy_server_session_kind=process

# List of available types of snippets

languages='[{"name": "Scala Shell", "type": "spark"},{"name": "PySpark Shell", "type": "pyspark"},{"name": "R Shell", "type": "r"},{"name": "Jar", "type": "Jar"},{"name": "Python", "type": "py"},{"name": "Impala SQL", "type": "impala"},{"name": "Hive SQL", "type": "hive"},{"name": "Text", "type": "text"}]'

Но когда я пытаюсь набрать простую команду в блокноте, каждый раз у меня появляется одна и та же ошибка: Gateway timeout Error 504, Когда я вручную запускаю Livy-Server из оболочки, используя:

./build/env/bin/hue livy_server

У меня есть результат, как спрашивали в другой статье, но без решения: http://gethue.com/new-notebook-application-for-spark-sql/ Любые идеи, как это исправить или даже где посмотреть?! Другие приложения работают отлично, кроме Spark Notebook. Я новичок в области больших данных и hadoop, читая форумы для возможного решения, но не нашел ничего, связанного с этой проблемой, это неправильная конфигурация или я что-то пропустил во время установки? Любая помощь высоко ценится. Спасибо

Answer 1

Ливий никогда не тестировался с Spark 1.2. Первоначально он был создан для 1.3, в настоящее время работает с 1.4, и 1.5 почти все там: https://github.com/cloudera/hue/tree/master/apps/spark/java