Описание тега spark-ec2
spark-ec2 предназначен для управления несколькими именованными кластерами.
1
ответ
Искра на EC2 - конечная точка S3 для Scala не разрешается
Привет! Мне удалось успешно установить Spark Cluster на AWS EC2 в течение 2 месяцев, но недавно я начал получать следующую ошибку в сценарии создания. Это в основном не в настройке пакетов Scala и не разрешает исходную конечную точку S3: --2017-02-2…
28 фев '17 в 18:18
0
ответов
Измените amazon-linux на ubuntu при загрузке кластеров с помощью spark_ec2.py
Когда я запускаю из предоставленных скриптов для ec2 (spark_ec2.py) кластер отделяется с узлами amazon-linux. Я хочу, чтобы это был Ubuntu. (Spark_ec2.py => Я в настоящее время использую версию Brew и надеюсь, что это не проблема) После поиска я наш…
16 фев '16 в 19:07
0
ответов
aws cli, установленный spark-ec2 из spark-1.4, устарел
Я запустил искровой кластер по требованию, используя spark 1.4 и spark-ec2. Затем я вошел в кластер и обнаружил, что клиент aws древний. aws --version aws-cli/0.8.2 Python/2.6.9 Linux/3.4.37-40.44.amzn1.x86_64 На моем локальном компьютере клиент AWS…
24 июн '15 в 21:04
0
ответов
Несоответствие версий spark-ec2 и Tachyon hadoop
Я пытаюсь использовать spark-ec2 для запуска кластера ec2 с hadoop версии 2.x, поэтому я попытался: ./spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 --hadoop-major-version=2 launch my-spark-cluster затем я обнаружил, что в процессе установки тахиона пр…
11 фев '15 в 20:27
0
ответов
Ошибка спарк-оболочки EC2 при исключении соединения: java.net.ConnectException: ссылка на соединение
Я следовал инструкциям, приведенным на сайте spark ( http://spark.apache.org/docs/latest/ec2-scripts.html), чтобы настроить простой кластер ec2. но когда я запускаю искровую оболочку (./spark/bin/spark-shell) Я получаю ошибку отказа в соединении. Я …
19 фев '16 в 20:34
2
ответа
Изменение JDK в кластере, развернутом с помощью./spark-ec2
Я развернул кластер Amazon EC2 со Spark следующим образом: ~/spark-ec2 -k spark -i ~/.ssh/spark.pem -s 2 --region=eu-west-1 --spark-version=1.3.1 launch spark-cluster Я копирую файл, который мне нужен, сначала в мастер, а затем из мастера в HDFS, ис…
28 дек '15 в 21:58
1
ответ
Spark: как увеличить размер диска у рабов
Как запустить кластер с рабами, каждый из которых имеет диск по 100 ГБ. ./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \ --zone=us-east-1b --spark-version=1.6.1 \ --vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyy…
10 авг '16 в 13:58
2
ответа
spark-ec2 не распознается при запуске кластера на Windows 8.1
Я полный новичок в искре. Я пытаюсь запустить spark на Amazon EC2, но моя система не распознает "spark-ec2" или "./spark-ec2". Он говорит, что "spark-ec2" не распознается как внутренняя или внешняя команда. Я следовал инструкции здесь, чтобы запусти…
22 апр '15 в 03:09
1
ответ
Как устранить ошибку "Не удалось определить имя хоста экземпляра" с помощью spark-ec2?
При попытке запустить кластер Spark на EC2 выдается сообщение об ошибке "Не удалось определить имя хоста экземпляра" (заменены чувствительные элементы на *): $ spark-ec2 --vpc-id=vpc-* --subnet-id=subnet-* --slaves=1 --key-pair=* --identity-file=/Us…
07 мар '17 в 17:17
2
ответа
Ошибка Hadoop при использовании spark-submit
Я пытаюсь инициировать отправку с помощью Amazon ec2 с помощью следующего: spark-submit --packages org.apache.hadoop:hadoop-aws:2.7.1 --master spark://amazonaws.com SimpleApp.py и я получаю следующую ошибку. Кажется, что он ищет Hadoop. Мой кластер …
18 янв '17 в 17:03
0
ответов
Как запустить скрипт spark-ec2-branch-2 для региона Огайо?
Я пытаюсь запустить скрипт spark-ec2-branch-2 для создания кластера в Огайо. Мне нужно создать кластер в Огайо, потому что Огайо является одним из регионов, где разрешено пиринг VPC. ./spark-ec2 --key-pair=ohio --identity-file=ohio.pem --region=us-e…
27 янв '18 в 11:49
2
ответа
Может ли ядро PySpark (JupyterHub) работать в режиме клиента пряжи?
Моя текущая настройка: Кластер Spark EC2 с HDFS и пряжей JuputerHub (0.7.0) PySpark Kernel с python27 Очень простой код, который я использую для этого вопроса: rdd = sc.parallelize([1, 2]) rdd.collect() Ядро PySpark, которое работает как положено в …
12 дек '16 в 16:55
1
ответ
Искра на EC2 Выделенный Арендатор
Мне удалось установить Spark Cluster в EC2, используя дистрибутив из: https://github.com/amplab/spark-ec2 Тем не менее, я вижу, что нет никакой возможности иметь выделенную аппаратную аренду EC2 для главного и кластерного узлов Spark, в этом дело ил…
01 мар '17 в 14:29
0
ответов
Конфигурирование spark-ec2
Я заметил, что когда я запускаю кластер Spark EC2 с моей локальной машины с spark/ec2/spark-ec2 start mycluster процедура установки имеет неприятную привычку уничтожать все, что я помещаю в искру моего кластера /conf/. Если не считать необходимости …
27 дек '14 в 07:59
1
ответ
Как обновить версию Apache Spark
В настоящее время я установил версию Spark 1.5.0 на AWS, используя скрипт spark-ec2.sh. Теперь я хочу обновить версию Spark до 1.5.1. Как мне это сделать? Есть ли какая-либо процедура обновления или мне нужно собрать ее с нуля, используя скрипт spar…
16 окт '15 в 10:34
0
ответов
Amazon AWS не может получить доступ к моей ссылке s3n
Я пытаюсь сделать spark-submit с моим файлом Python, и в этом файле Python я хотел бы получить доступ к моему data.txt, который хранится в моем контейнере. Я использую следующую команду для доступа к своему файлу, но получаю сообщение об ошибке. dat…
24 янв '17 в 09:05
1
ответ
Неправильный ключ SSL при попытке использовать скрипт spark-ec2 для запуска кластера на EC2?
Версия Apache Spark: spark-1.2.1-bin-hadoop2.4 Платформа: Ubuntu Я использую сценарий spark-1.2.1-bin-hadoop2.4/ec2/spark-ec2 для создания временных кластеров на ec2 для тестирования. Все работало хорошо. Затем я начал получать следующую ошибку при …
11 мар '15 в 16:19
1
ответ
Apache Spark EC2 Script запускает ведомых, но без хозяина
При использовании скрипта Apache Spark EC2 для запуска кластера я обнаружил некоторую ошибку, которая начинает бить меня по карману. При указании количества ведомых: если вы введете число, которое больше или равно вашему пределу, то кластер запускае…
17 апр '15 в 09:08
1
ответ
Apache Spark EC2 c4.2xlarge не запускается
При попытке запустить кластер EC2 (c4.2xlarge) с помощью скрипта Apache Spark EC2 я получаю следующую ошибку: Don't recognize c4.2xlarge, assuming type is pvm Spark AMI: ami-9a6e0daa Launching instances... ERROR:boto:400 Bad Request ERROR:boto:<?…
17 апр '15 в 12:53
1
ответ
Измените версию hadoop, используя spark-ec2
Я хочу знать, возможно ли изменить версию hadoop, когда кластер создается spark-ec2? Я старался spark-ec2 -k spark -i ~/.ssh/spark.pem -s 1 launch my-spark-cluster тогда я вхожу с spark-ec2 -k spark -i ~/.ssh/spark.pem login my-spark-cluster и узнал…
10 фев '15 в 23:26