Spark: как увеличить размер диска у рабов

Question

Как запустить кластер с рабами, каждый из которых имеет диск по 100 ГБ.

./spark-ec2 -k xx -i xx.pem -s 1 --hadoop-major-version=yarn --region=us-east-1 \
--zone=us-east-1b  --spark-version=1.6.1 \
--vpc-id=vpc-xx --subnet-id=subnet-xx --ami=ami-yyyyyy \
 launch cluster-test

Я использовал AMI, который имел размер 100 ГБ; Тем не менее, Спарк изменил его размер и запустил 8 ГБ накопитель. Как мне увеличить этот предел до 100 ГБ?

Answer 1

Это решает проблему, но вопрос все еще ищет ответ, чтобы избежать этой проблемы в первую очередь.

Получается, что объем EBS составляет 100 ГБ, но изображение на нем всего 8 ГБ. Вот почему это только 8 ГБ. Чтобы распространить изображение по всему диску, этот блог подробно описал, как это сделать. Кроме того, этот ответ SO также полезен.