Описание тега python-s3fs
По вопросам, связанным с библиотекой Python s3fs
6
ответов
Как читать разделенные файлы паркета из S3, используя pyarrow в python
Я ищу способы чтения данных из нескольких многораздельных каталогов из S3, используя Python. data_folder / serial_number = 1 / cur_date = 20-12-2012 / abcdsd0324324.snappy.parquet data_folder / serial_number = 2 / cur_date = 27-12-2012 / asdsdfsd032…
13 июл '17 в 13:56
2
ответа
Есть ли какой-нибудь модуль Python, с помощью которого я могу смонтировать ведро S3 в файловую систему?
S 3fs-FUSE - это инструмент командной строки, который может это сделать. Но библиотека s3fs на самом деле не монтирует ее в файловую систему, вместо этого она дает нам API для доступа к ведрам S3 в качестве файловой системы. Я ищу некоторую библиоте…
23 мар '20 в 15:11
0
ответов
Как мне обслуживать статический файл, если я смонтировал ведро s3 с помощью s3fs?
Я смонтировал одну из своих корзин на свой сервер, у меня есть доступ к ней и запись файлов на нее, но теперь я хочу воспроизводить файлы. Я написал небольшой api, который возвращает статический файл из моего смонтированного пути ведра s3 на моем се…
09 окт '19 в 01:28
3
ответа
Имена файлов деревянных паркетов, созданные pyarrow на S3
Мы добавляем данные в существующий набор данных паркета, хранящийся в S3 (секционированный), с помощью pyarrow. Это выполняется на AWS lambda несколько раз в час. Минимальный пример: import pyarrow as pa import pyarrow.parquet as pq import s3fs df =…
02 дек '19 в 15:13
2
ответа
NotImplementedError: текстовый режим не поддерживается, используйте mode = 'wb' и управляйте байтами в s3fs
Я знаю, что есть аналогичный вопрос, но он более общий, а не специфический для этого пакета. Я сохраняю фрейм данных pandas в записной книжке Sagemaker Jupyter в CSV в S3 следующим образом: df.to_csv('s3://bucket/key/file.csv', index=False) Однако я…
31 янв '20 в 17:47
2
ответа
Проблема с тайм-аутом s3fs для функции AWS Lambda в VPN
Время от времени кажется, что s3fs дает сбой при чтении из корзины S3 с использованием функции AWS Lambda в VPN. Я использую s3fs==0.4.0 и pandas == 1.0.1. import s3fs import pandas as pd def lambda_handler(event, context): bucket = event['Records']…
23 апр '20 в 23:44
1
ответ
Проблема с загрузкой модели sklearn в корзину S3 с помощью s3fs
Я пытаюсь загрузить модель SVR (созданную с помощью sklearn) в корзину S3 с помощью s3fs, но получаю сообщение об ошибке "TypeError: требуется объект, подобный байтам, а не" SVR "". Кто-нибудь может подсказать, как преобразовать SVR в нужный формат?…
27 апр '20 в 22:12
0
ответов
Как решить ошибку "Нет модуля с именем _bz2"?
Я пытаюсь использовать s3fs в Python 3.6 с использованием Debian 3.16.51-3. Когда я импортирую s3fs: import s3fs ... from _bz2 import BZ2Compressor, BZ2Decompressor ModuleNotFoundError: No module named '_bz2' Хорошо, я попытался обновить / установит…
07 май '20 в 18:50
3
ответа
Как смонтировать ведро S3 как локальную файловую систему?
У меня есть приложение Python, работающее на Jupiter-notebookна AWS. Я загрузилC-libraryв мой код Python, который ожидает путь к файлу. Я хочу получить доступ к этому файлу из корзины S3. Пробовал использовать s3fs: s3 = s3fs.S3FileSystem(anon=False…
05 ноя '19 в 20:51
0
ответов
Сделайте файл S3 общедоступным с помощью fs-s3fs python PyFilesystem
Я использую fs-s3fs для копирования файлов из приложения python3 в корзину S3. В более старых реализациях до того, как он был отделен от PyFilesystem, существовалdef makepublic(self, path): метод. В текущей версии (1.1.1) этого больше не существует.…
30 дек '19 в 23:20
0
ответов
Могу ли я использовать библиотеку python s3fs поверх aiobotocore?
s3fs - это удобный интерфейс, подобный файловой системе Python, для S3, построенный на основе ботокора. Для доступа S3 с помощью asyncio, aiobotocore является альтернативой для botocore. Можно ли использовать s3fs с asyncio / aiobotocore вместо van…
17 апр '20 в 11:59
1
ответ
Когда выйдет следующий релиз для s3fs
Я попытался использовать модуль pip 0.4.2 s3fs, перемещение файлов размером более 5 ГБ приводит к сбоям при записи. Существует проблема с pip-модулем s3fs версии 0.4.2, которая исправлена в мастере. Когда планируется следующий выпуск, чтобы я мог …
24 июл '20 в 10:22
0
ответов
S3FileSystem Проблема при загрузке CSV в S3, он добавляет пустые строки между идентификаторами
Итак, у меня есть сценарий, который загружает файл CSV в корзину S3. s3 = s3fs.S3FileSystem(key='YOUR_KEY', secret='YOUR_SECRET_KEY',anon=False) df = pd.read_csv(r'C:\Users\Desktop\FILES\test.csv') with s3.open('s3://billing/billing_data/test.csv','…
24 июл '20 в 09:54
1
ответ
Скачивание файлов S3 в Google Colab
Я работаю над проектом, и бывает, что некоторые данные предоставляются в форме S3fileSystem. Я могу прочитать эти данные с помощью S3FileSystem.open(path). Но существует более 360 файлов, и чтение одного файла занимает не менее 3 минут. Мне было инт…
01 май '20 в 18:39
5
ответов
Pandas read_csv укажите профиль AWS
Панды (v1.0.5) используют s3fsбиблиотека для подключения к AWS S3 и чтения данных. По умолчанию s3fs использует учетные данные из~/.aws/credentials файл в defaultпрофиль. Как указать, какой профиль использовать pandas при чтении CSV из S3? Например.…
24 июн '20 в 22:46
2
ответа
Попытка кэшировать файлы s3
У меня есть два конвейера. Первый конвейер читает файлы из s3, выполняет некоторую обработку и обновляет файлы. Второй конвейер выполняет несколько заданий, и для каждого задания я загружаю файлы из s3 и производю некоторый вывод. Я чувствую, что тр…
08 июл '20 в 04:13
2
ответа
скачать файл с помощью s3fs
Я пытаюсь загрузить файл csv из ведра s3 с помощью библиотеки s3fs. Я заметил, что написание нового csv с использованием pandas каким-то образом изменило данные. Поэтому я хочу загрузить файл прямо в необработанном виде. В документации есть функция …
21 июл '20 в 18:13
0
ответов
Как передать аргументы команде ls через соединение s3fs?
У меня есть утилита передачи файлов, настроенная на Python с использованием s3fs, где я заполняю список файлов для загрузки с AWS, используя команду ls для заполнения списка. Я заинтересован в попытке создать другой список, содержащий только каталог…
28 июл '20 в 23:34
1
ответ
Как диагностировать несогласованные ошибки разрешений S3
Я запускаю сценарий Python в функции AWS Lambda. Он запускается сообщениями SQS, которые сообщают сценарию, что определенные объекты загружаются из корзины S3 для дальнейшей обработки. Похоже, что разрешения настроены правильно, с политикой корзины,…
04 июл '20 в 06:40
1
ответ
Перенести данные с S3 на FTP-сервер через поток с помощью Python
Используя Python, я хочу скопировать файлы, соответствующие шаблону sample1с AWS S3 на FTP-сервер напрямую без каких-либо загрузок в локальное временное хранилище. Я попытался сделать следующее: import s3fs from ftplib import FTP_TLS s3 = s3fs.S3Fil…
21 авг '20 в 09:46