Использование клиента S3A в бессерверной версии EMR
Я использую хранилище объектов, совместимое с S3 (CloudFlare R2), и пытаюсь подключиться к нему без сервера EMR. R2 требует, чтобы вы использовали правильную конечную точку и передали секретный ключ и ключ доступа.
На локальной машине работает искра отлично. Но при запуске на бессерверном сервере EMR он не учитывает параметры, которые я пытаюсь ему передать. Точнее,fs.s3a.access.keyиfs.s3a.secret.key.
Я пытался установить его в приложении, как часть работы с консоли и как--confв искровых параметрах, но не работает.
Любые идеи о том, как это сделать, очень ценятся, спасибо!
1 ответ
используйте разъем EMR s3 - это тот, который они поддерживают