AWS EMR SSE Согласованный вид
Я пытаюсь создать кластер EMR в AWS с помощью команды CLI ниже, но он не создает кластер в согласованном представлении, а флаг шифрования на стороне сервера не устанавливается (fs.s3.consistent и fs.s3.enableServerSideEncryption оба имеют значение false в emrfs-site.xml). В чем дело?
aws emr create-cluster \
--name "reporting-aws-cli-temp" \
--instance-type m1.medium \
--service-role EMR_DefaultRole \
--instance-count 2 \
--ami-version 3.3.1 \
--ec2-attributes SubnetId=subnet-111111,KeyName=someKey,InstanceProfile=server-role \
--log-uri s3://some-logs \
--emrfs SSE=true,Consistent=true,RetryPeriod=3,Args=[fs.s3.serverSideEncryptionAlgorithm=AES256]
2-я часть вопроса у меня как ниже
Постановка проблемы Данные CSV, которые мы хотим проанализировать, будут периодически публиковаться из экземпляров AWS EC2 (сервер) в корзину Amazon S3, и мы будем использовать Hive для чтения данных из корзины Amazon S3 и выполнения анализа. Данные, которые я публикую на Amazon S3, должны быть зашифрованы, а куст должен сначала расшифровать файл, а затем проанализировать
Текущее состояние Мы можем добиться следующего Периодически отправлять файл на S3 в 3 отдельных
- Простой CSV-файл, который мы можем скачать и прочитать
- Защита данных с помощью ключа на стороне клиента и последующая загрузка файла (ссылка: http://docs.aws.amazon.com/AmazonS3/latest/dev/UsingClientSideEncryption.html)
- Защита данных с помощью шифрования на стороне сервера (SSE-S3) и последующая загрузка ( http://docs.aws.amazon.com/AmazonS3/latest/dev/serv-side-encryption.html)
Создание кластера EMR в AWS с установленным Hive (версия 0.13.0). Нам удалось создать внешние таблицы и добавить разделы, чтобы указать на простые данные CSV, а также прочитать и выполнить простой анализ этих данных. Мы застряли в том месте, где данные зашифрованы либо с помощью шифрования на стороне клиента, либо на стороне сервера. расшифровать данные в файле до чтения данных внутри него.
1 ответ
Используйте аргумент ниже, чтобы включить шифрование
--emrfs Encryption=ServerSide,Args=[fs.s3.serverSideEncryptionAlgorithm=AES256]