Открытие файла в файловой системе s3 pyfilesystem завершается неудачно

Question

Я пытаюсь просто открыть файл в файловой системе s3 pyfilesystem как таковой:

>>> s3fs.listdir('dfparks/test')
['test.txt']
>>> s3fs.open('dfparks/test/test.txt')

Я получаю ошибку:

fs.errors.ResourceNotFound: resource 'dfparks/test/test.txt' not found

Я пробовал каждый вариант пути / s3 url, о котором я могу думать, но я всегда получаю ошибку not found.

Answer 1

Fs .s3fs по умолчанию работает в строгом режиме, проверяя наличие маркеров каталогов (ключей, оканчивающихся на "/"). Вы можете отключить строгий режим, передав strict=False конструктору S3FS или добавив "strict=0" к URL-адресу, переданному в fs.open_fs

Но, к сожалению, S3FS по-прежнему выполняет эти проверки в немногих местах даже в режиме strict=False. Мой PR ждет обзора, чтобы исправить это: https://github.com/PyFilesystem/s3fs/pull/60. А пока вы можете установить фиксированную версию с помощью пакета fs-s3fs-ng:

pip install fs-s3fs-ng

Кроме того, он по умолчанию включает нестрогий режим и включает потоковую передачу S3 (другие PR ожидают принятия)

Пожалуйста, дайте мне знать, работает ли это для вас.