Искра не установлена на кластере EMR
Я использую Spark в кластере EMR уже несколько недель без проблем - установка была с AMI 3.8.0 и Spark 1.3.1, и я передал "-x" в качестве аргумента Spark (без этого он не вроде бы установлено).
Я хочу перейти на более свежую версию Spark и сегодня ускорил кластер с помощью emr-4.1.0 AMI, содержащего Spark 1.5.0. Когда кластер работает, он утверждает, что успешно установил Spark (по крайней мере, на странице управления кластером в AWS), но когда я захожу в 'hadoop@[IP-адрес]', я ничего не вижу в каталоге 'hadoop', где в предыдущей версии был установлен Spark (я также пытался с другими приложениями и имел тот же результат, и пытался войти в систему как пользователь ec2, но Spark там также не установлен). Когда я раскручиваю кластер с помощью emr-4.1.0 AMI, у меня нет возможности передать аргумент '-x' в Spark, и мне интересно, есть ли что-то, чего мне не хватает.
Кто-нибудь знает, что я здесь делаю не так?
Большое спасибо.
1 ответ
Это было на самом деле решено, довольно тривиально.
В предыдущем AMI все пути к Spark и другим приложениям были программными ссылками, доступными в папке hadoop. В более новом AMI они были удалены, но приложения все еще установлены и могут быть доступны с помощью 'spark-shell' (например) в командной строке.