Временные учетные данные профиля экземпляра distcp s3
Я использую distcp на моем кластере hadoop в AWS. Теперь мы переходим к использованию ролей IAM для узлов кластера. Решение, которое я собирался попробовать, было добавить в мою собственную реализацию org.apache.hadoop.fs.s3native.NativeS3FileSystem, которая была бы более умной, как AWS InstanceProfileCredentialsProvider, и использовать IMDS. Однако существует ли доступное решение для работы distcp с временными учетными данными безопасности? Глядя на NativeS3FileSystem и связанные с ней классы, кажется, что мне нужно будет скопировать большую часть кода просто для того, чтобы поиск учетных данных использовал IMDS.