Загрузить большие тома с S3 на локальный компьютер? - s3distcp
В настоящее время использую distcp Это медленный процесс, который занимает до 4:16 минут на копирование журналов за 1 час, в то время как написанная мной пользовательская функция занимает всего 16 секунд. Учитывая, что Amazon предоставляет s3distcp примеры, включающие журналы, я подумал, чтобы попробовать и проверить его производительность.
Я знаю, что это возможно с distcp но можно ли использовать s3distcp на локальном компьютере скопировать большие объемы данных (потенциально более 100 ГБ) в кластер hfs на локальном компьютере без использования EMR?
Amazon и последующие учебники и статьи только ссылки s3distcp способности как шаг в EMR..