spark-ec2 не распознается при запуске кластера на Windows 8.1
Я полный новичок в искре. Я пытаюсь запустить spark на Amazon EC2, но моя система не распознает "spark-ec2" или "./spark-ec2". Он говорит, что "spark-ec2" не распознается как внутренняя или внешняя команда.
Я следовал инструкции здесь, чтобы запустить кластер. Я хотел бы использовать Scala, как мне заставить это работать?
2 ответа
Решение
Добавьте переменную окружения PYTHON PATH с помощью boto. PYTHONPATH="${SPARK_EC2_DIR}/third_party/boto-2.4.1.zip/boto-2.4.1:$PYTHONPATH" и выполнить скрипт python
Чтобы запустить скрипт Spark-EC2 в Windows, вам нужны Cygwin и Python. Если вы не хотите устанавливать эти программы, вы можете использовать докертизированную версию скрипта ( https://github.com/edrevo/spark-ec2-docker), которая зависит только от Docker.