Описание тега fsspec
Интерфейсы файловой системы для python
1
ответ
xarray читает удаленный файл grib на s3 с помощью cfgrib
Может ли механизм crgrib обрабатывать удаленные файлы? Это не похоже на комментарий Мартина Дюранта ( https://github.com/ecmwf/cfgrib/issues/198#issuecomment-772852412 ) На s3 есть небольшой файл grib: https://mf-nwp-models.s3.amazonaws.com/index.ht…
16 фев '21 в 20:21
1
ответ
открыть удаленный магазин zarr со многими группами и сохранить координаты с помощью xarray
Я хочу прочитать в удаленном хранилище zarr https://hrrrzarr.s3.amazonaws.com/index.html#sfc/20210208/20210208_00z_anl.zarr/ . Информация о магазине zarr находится по адресу https://mesowest.utah.edu/html/hrrr/zarr_documentation/zarrFileVariables.ht…
12 фев '21 в 01:11
1
ответ
Добавить entry_points в setuptools в устанавливаемом пакете
У меня есть пакет Python fsspec . Эта библиотека предоставляет способ регистрации внешней файловой системы ( внутренняя интеграция ). Один из способов зарегистрировать требуемую файловую систему - добавить ее в entry_points в setuptools. Чтобы выпол…
27 апр '21 в 13:17
1
ответ
используйте AWS_PROFILE в pandas.read_parquet
Я тестирую это локально, где у меня есть файл ~ / .aws / config. ~ / .aws / config выглядит примерно так: [profile a] ... [profile b] ... У меня также есть переменная окружения AWS_PROFILE, установленная как «a». Я хотел бы прочитать файл, доступный…
28 апр '21 в 07:28
3
ответа
Использование fsspec в команде pandas.DataFrame.to_csv
Я хочу записать csv-файл из фрейма данных pandas на удаленном компьютере, подключающемся через smtp-ssh. Кто-нибудь знает, как правильно добавить параметр storage_options? В документации Pandas говорится, что я должен использовать некоторый dict в к…
20 май '21 в 11:33
1
ответ
Ошибка импорта при использовании pandas для fsspec в Python?
У меня была проблема, когда pandas сообщал об ошибке импорта при попытке использовать буфер из класса StringIO io во время использования read_csv() из pandas.
24 июн '21 в 18:01
1
ответ
Ошибка драйвера при чтении файловой базы геоданных из S3 с использованием геопанд
Я пытаюсь прочитать файл файловой базы геоданных в фрейм геоданных с помощью библиотеки pythongeopandas. Файл базы геоданных находится на S3, поэтому я использую fssspec чтобы прочитать это, но я получаю сообщение об ошибке: import geopandas as gpd …
05 мар '21 в 01:55
1
ответ
Нет такой ошибки файла при попытке создать локальный кеш объекта s3
Я пытаюсь использовать Fsspec для создания локального кеша хранилища файлов данных в сегменте публичного доступа на AWS s3. Сегмент общего доступа находится здесь. Мне на 100% необходимо делать это в локальном файловом кеше, потому что это предназна…
19 окт '21 в 06:45
1
ответ
Блоки данных Azure: ошибка pandas.read_parquet
У меня есть ошибка при чтении паркета в пандах в блоках данных, как показано ниже: у кого-нибудь есть идея? Следующее - моя среда выполнения databricks. моя версия панд
21 окт '21 в 18:14
0
ответов
Невозможно прочитать URL-адрес напрямую с помощью реализации файловой системы fsspec https
Я использую fsspec пакет для реализации функции чтения файла https. _hostname = socket.gethostname() proxy_auth = aiohttp.BasicAuth(_hostname, pwd) of = fsspec.filesystem("https", client_kwargs={"trust_env":True, "auth":proxy_auth}) http_urls = ["ht…
07 окт '21 в 16:09
2
ответа
Какая рабочая комбинация версий s3fs и fsspec? ImportError: невозможно импортировать имя «Maybe_sync» из «fsspec.asyn»
Я использую последнюю версию s3fs-0.5.2 и fsspec-0.9.0, при импорте s3fs возникла следующая ошибка: File "/User/.conda/envs/py376/lib/python3.7/site-packages/s3fs/__init__.py", line 1, in <module> from .core import S3FileSystem, S3File File "/…
06 ноя '21 в 04:35
2
ответа
Переименование файла Paramiko SFTP: OSError(«Расширенный запрос не поддерживается».)
Я ничего не могу найти об этом исключении. Я пытаюсь переименовать удаленный файл на локальном (Windows) сервере sFTP с помощью fsspec. Paramiko за кулисами выполняет posix_rename(). Что означает ошибка? fs.rename(old_file_path, new_file_path) Пути …
11 янв '22 в 00:15
1
ответ
Удаление файла из Google Cloud с помощью fsspec
сейчас я использую fsspecдля чтения и записи файлов в мои облачные корзины Google с кодом, как показано ниже: with fs.open(gcs_file_tmp, "rb") as fp: gcs_file_content = fp.read() Теперь я хочу удалить файл из корзины GCS, но не могу найти для него к…
18 янв '22 в 03:34
1
ответ
как добавить fsspec.open_local в серверную часть xarray
Следуя Q здесь, xarray читает удаленный файл grib на s3, используя cfgrib Как мне преобразовать следующий код для использования в backend_kwargsXarray open_dataset. import fsspec import xarray as xr uri = "simplecache::s3://mf-nwp-models/arpege-worl…
07 мар '21 в 03:43
1
ответ
получение KeyError '.zmetadata' при открытии удаленного магазина zarr
Пытаюсь читать в магазине zarr с s3 с помощью xarray. Получение ключевой ошибки. Какие-нибудь мысли import fsspec import xarray as xr uri = "s3://era5-pds/zarr/2020/12/data/eastward_wind_at_10_metres.zarr" ds = xr.open_zarr(fsspec.get_mapper(uri, an…
10 фев '21 в 20:45
1
ответ
Локальный файловый кеш s3fs версионных мух
Я хочу использовать s3fs на основе fsspec для доступа к файлам на S3. В основном из-за 2 приятных особенностей: локальное кэширование файлов на диск с проверкой изменения файлов, т.е. файл загружается повторно, если локальный и удаленный файлы разли…
15 апр '22 в 09:03
1
ответ
Используйте пул соединений с python sshfs (fsspec) в Python
Я использую sshfs для извлечения видеофайлов из удаленного хранилища SSH: @app.get("/video/{filename}") async def video_endpoint( filename, range: str = Header(None), db=Depends(get_db) ): # pylint: disable=redefined-builtin """ Endpoint for video s…
24 фев '23 в 22:54
2
ответа
Как получить родительский каталог с помощью fsspec?
Учитывая путь к файлу, как мне получить родительский каталог, содержащий файл, с помощью? Filepath может использовать локальную файловую систему или облачное хранилище, поэтомуfsspecявляется предпочтительным.
03 авг '22 в 14:30
1
ответ
Чтение данных xarray go16 напрямую с S3 без загрузки в систему
Чтение данных xarray идет16 напрямую с S3 без загрузки в систему. проблема в том, что я не могу объединить S3Files. Я вспоминаю 24 файла с S3 и хочу прочитать и извлечь данные для этих файлов за временной диапазон: Это код: import datetime as dt imp…
10 июн '22 в 03:18
1
ответ
Поддерживает ли fsspec виртуальные файловые системы, такие как pyfileysystem?
Одной из основных функций pyfilesystem являются виртуальные файловые системы. Например home_fs = open_fs('~/') projects_fs = home_fs.opendir('/projects') Я думаю, что это отличная функция, и я надеялся, что в fsspec есть что-то подобное. Но я не смо…
10 ноя '22 в 10:16