Неправильный ключ SSL при попытке использовать скрипт spark-ec2 для запуска кластера на EC2?

Question

Версия Apache Spark: spark-1.2.1-bin-hadoop2.4 Платформа: Ubuntu

Я использую сценарий spark-1.2.1-bin-hadoop2.4/ec2/spark-ec2 для создания временных кластеров на ec2 для тестирования. Все работало хорошо.

Затем я начал получать следующую ошибку при попытке запустить кластер:

[Errno 185090050] _ssl.c: 344: ошибка:0B084002: процедуры сертификата x509:X509_load_cert_crl_file: системная библиотека

Я проследил это до следующей строки в сценарии spark_ec2.py:

conn = ec2.connect_to_region (opts.region)

Таким образом, в первый раз, когда скрипт взаимодействует с ec2, он выдает эту ошибку. Spark использует библиотеку Python Boto (включена в загрузку Spark), чтобы сделать этот вызов.

Я предполагаю, что я получаю ошибку из-за плохого файла cacert.pem.

Мой вопрос: какой файл cacert.pem используется, когда я пытаюсь вызвать скрипт spark-ec2, и почему он не работает?

У меня тоже была эта ошибка с spark-1.2.0-bin-hadoop2.4

Answer 1

РЕШЕНО: встроенная библиотека boto, поставляемая вместе со Spark, обнаружила файл конфигурации ~/.boto, который у меня был для другого не-Spark проекта (на самом деле это было для облачных сервисов Google...GCS установил его, я забыл об этом). Это все испортило.

Как только я удалил файл конфигурации ~/.boto, установленный GCS, все снова заработало для Spark!