Установите Apache Spot

Question

Мне нужно установить Apache Spot на Ubuntu.

http://spot.incubator.apache.org/doc/

Я уже выполнил настройку кластера Hadoop с одним узлом, следуя этому руководству:

https://hadoop.apache.org/docs/stable/hadoop-project-dist/hadoop-common/SingleCluster.html

И я уже установил Hive, Kafka и Spark, следуя инструкциям, изложенным в документации Apache. Основная проблема в том, что я не могу правильно настроить файл '/spot-setup/spot.conf', потому что когда я запускаю команду:

./hdfs_setup.sh

Терминал отображает:

sudo: unknown user: hdfs
sudo: unable to initialize policy plugin
./hdfs_setup.sh:line 48:hdfs:command not found
./hdfs_setup.sh:line 52:hdfs:command not found
./hdfs_setup.sh: line 62:impala-shell:command not found

Мой файл / etc / hosts:

127.0.0.1 localhost
127.0.1.1 osboxes
127.0.0.2 node03
127.0.0.3 node04
127.0.0.4 node16

Какие значения я должен написать в строках spot.conf? Большое спасибо.

Answer 1

Вывод скрипта подразумевает, что hadoop не настроен должным образом на этом узле. Вместо индивидуальной установки и настройки зависимостей вы можете попробовать cloudera quickstart vm, который упаковывает все зависимости, необходимые для Apache Spot.