MIT StarCluster и S3

Question

Я пытаюсь запустить задание mapreduce на точечных экземплярах. Я запускаю свои экземпляры с помощью StarClusters и его плагина hadoop. У меня нет проблем загрузить данные, затем поместить их в HDFS, а затем скопировать результат обратно из HDFS. У меня вопрос, есть ли способ загрузить данные непосредственно из s3 и отправить результат обратно в s3? (Я не хочу вручную загружать данные из s3 в HDFS и передавать результат из HDFS в s3, есть ли способ сделать это в фоновом режиме)?

Я использую стандартный MIT StarCluster AMI

Answer 1

Вы не можете сделать это, но вы можете написать скрипт для этого. например, вы можете использовать: hadoop distcp s3n://ID:key@mybucket/file /user/root/file, чтобы поместить файл напрямую в hdfs из s3