Amazon Elastic Mapreduce: проблема с загрузкой действий?

Question

Я научился создавать рабочие потоки через интерфейс командной строки. Я использую amazonastic mapreduce cli для создания и запуска рабочих потоков. Я сомневаюсь, что я хочу поместить мои исходные файлы в главный узел из корзины s3, используя действия Bootstrap во время создания созданных потоков заданий. Я использую Программу Свиньи в интерактивном режиме, чтобы выполнить свои рабочие потоки.

Я читаю документы для начальной загрузки, но эти вещи мне не были понятны.

Заранее спасибо любой может сказать мне, как скопировать мои файлы из корзины s3 на главный узел с помощью действий Bootstrap.

Answer 1

Загрузочные действия - это просто стандартные сценарии Unix. Убедитесь, что шебанг указывает на переводчика на машинах в вашем кластере, и все готово.

Когда вы говорите, исходные файлы, вы имеете в виду ваши сценарии свиньи? Их можно запустить прямо с s3. Если вы говорите о данных, вы должны прочитать их непосредственно с s3, если у вас нет сценария использования для первого копирования в кластер (например, сканирование одних и тех же данных несколько раз)