403 Ошибка при подключении к COS с помощью Stocator со Spark Scala
Я борюсь с конфигурацией spark (spark 2.3.2, hadoop 3.1.1) scala (2.11.8) stocator (версия 1.1.4), каждый раз получая ошибку 403 (в комментарии), даже если моя корзина cos является общедоступной и имеет политика писателя:
spark.sparkContext.hadoopConfiguration.set("fs.stocator.scheme.list", "cos")
spark.sparkContext.hadoopConfiguration.set("fs.cos.impl", "com.ibm.stocator.fs.ObjectStoreFileSystem")
spark.sparkContext.hadoopConfiguration.set("fs.stocator.cos.impl", "com.ibm.stocator.fs.cos.COSAPIClient")
spark.sparkContext.hadoopConfiguration.set("fs.stocator.cos.scheme", "cos")
spark.sparkContext.hadoopConfiguration.set("fs.cos.mycos.endpoint", "s3.eu-de.cloud-object-storage.appdomain.cloud")
spark.sparkContext.hadoopConfiguration.set("fs.cos.mycos.access.key","xxxxxxxxx")
spark.sparkContext.hadoopConfiguration.set("fs.cos.mycos.secret.key","xxxxxxxxx")
spark.sparkContext.hadoopConfiguration.set("fs.cos.mycos.session.token", "xxxxxxx") //Optional
val data = Array(1, 2, 3, 4, 5, 6, 7, 8)
val distData = spark.sparkContext.parallelize(data)
distData.saveAsTextFile("cos://${bucketname}.mycos/prova2.txt")
Здесь сообщение об ошибке:введите описание изображения здесь
Мы также попробовали учетные данные IAM, но похоже, что стокатор не распознал их типологию и ответил на ошибку «Пожалуйста, укажите ключ доступа».
Если у кого-то есть подсказка по проблеме, было бы очень полезно !!