Безопасно ли читать данные с помощью boto3 из S3, если эти данные были записаны с помощью Stocator в pyspark?
У меня есть приложение, которое использует Stocator в качестве коннектора для Spark. Это приложение записывает данные в корзину S3 cos.
Сейчас я работаю над сервисом, который должен читать эти данные с S3. Согласно этой ветке здесь , вы не можете указать uri/протокол, который использует boto3. Безопасно ли читать эти данные, используя протокол S3 REST API по умолчанию?
Причина, по которой я спрашиваю, заключается в том, что мне сказали, что чтение данных с использованием S3A (другого протокола), которые были написаны с использованием Stocator, может привести к чтению дубликатов.