Как создать внешнюю таблицу Hive поверх объектного хранилища ECS S3 с использованием протокола «S3a//»
Я пытаюсь создать внешнюю таблицу Hive с помощью Beeline поверх хранилища объектов ECS S3, используя схему «S3a //». Я следовал официальной документации cloudera и настроил указанные ниже свойства.
- fs.s3a.access.key
- fs.s3a.secret.key
- fs.s3a.endpoint
Я могу бежать
hadoop fs -Dfs.s3a.access.key=<access_key> -Dfs.s3a.secret.key=<secret_key> -Dfs.s3a.endpoint=<host_port> -ls s3a://<bucket_name>/dir/успешно и умеет видеть каталоги. Итак, я знаю, что мои учетные данные, доступ к корзине и общая настройка Hadoop действительны.
Однако, когда я пытаюсь получить доступ к тем же ресурсам s3 из куста (Билайн) , например, запускаю операторы CREATE EXTERNAL TABLE, используя LOCATION 's3a: // [bucket-name] / dir /', это терпит неудачу.
Конфигурации
set fs.s3a.access.key=<access_key>;
set fs.s3a.secret.key=<secret_key>;
set fs.s3a.endpoint=<host:port>;
Запрос
CREATE EXTERNAL TABLE NAME_TEST_S3(name string, age int) ROW FORMAT DELIMITED FIELDS TERMINATED BY ',' STORED AS TextFile LOCATION 's3a://<bucket_name>/dir/'
Я получаю ошибку ниже.
ОШИБКА: СБОЙ: ошибка выполнения, код возврата 40000 из org.apache.hadoop.hive.ql.ddl.DDLTask. MetaException(сообщение: Получено исключение: java.nio.file.AccessDeniedException <bucket_name>:org.apache.hadooop.fs.3a.auth.NoAuthWithAWSException: Нет учетных данных AWS, предоставленных TemporaryAWSCredentialsProvider SimpleAWSCredentialsProviderCredentialsProviderDataSettingsProviderSimporaryAWSCredentialsProviderSimporaryAWSCredentialsProviderSimporaryAWSCredentialsProviderDataDescription загрузить учетные данные AWS из переменных среды (AWS_ACCESS_KEY_ID (или AWS_ACCESS_KEY) и AWS_SECRET_KEY (или AWS_SECRET_ACCESS_KEY)) (состояние =08S01, код =40000)
Примечание. Я использую хранилище объектов CDH-7.1.6, Hive 3.1.3 и ECS S3. Я могу получить доступ к тем же ресурсам s3, используя hadoop fs, а также используя spark scala read api
Кто-нибудь знает, чего не хватает в этом уравнении?