открыть удаленный магазин zarr со многими группами и сохранить координаты с помощью xarray
Я хочу прочитать в удаленном хранилище zarr https://hrrrzarr.s3.amazonaws.com/index.html#sfc/20210208/20210208_00z_anl.zarr/ . Информация о магазине zarr находится по адресу https://mesowest.utah.edu/html/hrrr/zarr_documentation/zarrFileVariables.html.
Я могу читать в переменной, но, похоже, она не фиксирует координаты или атрибуты, связанные с переменной (мне вполне может не хватать kwargs для
open_mfdataset или же
open_zarr). Поскольку существуют разные уровни вложенности, я не уверен, какой правильный путь пройти
import xarray as xr
import s3fs
fs = s3fs.S3FileSystem(anon=True)
uri = "s3://hrrrzarr/sfc/20210208/20210208_00z_anl.zarr/10m_above_ground/UGRD/10m_above_ground"
file = s3fs.S3Map(uri, s3=fs)
ds = xr.open_mfdataset([file], engine="zarr")
>>> ds
<xarray.Dataset>
Dimensions: (projection_x_coordinate: 1799, projection_y_coordinate: 1059)
Dimensions without coordinates: projection_x_coordinate, projection_y_coordinate
Data variables:
UGRD (projection_y_coordinate, projection_x_coordinate) float16 dask.array<chunksize=(150, 150), meta=np.ndarray>
uri = "s3://hrrrzarr/sfc/20210208/20210208_00z_anl.zarr/10m_above_ground/UGRD"
file = s3fs.S3Map(uri, s3=fs)
ds = xr.open_mfdataset([file], engine="zarr")
>>> ds
<xarray.Dataset>
Dimensions: (projection_x_coordinate: 1799, projection_y_coordinate: 1059)
Coordinates:
* projection_x_coordinate (projection_x_coordinate) float64 -2.698e+06 ......
* projection_y_coordinate (projection_y_coordinate) float64 -1.587e+06 ......
Data variables:
forecast_period timedelta64[ns] ...
forecast_reference_time datetime64[ns] ...
height float64 ...
pressure float64 ...
time datetime64[ns] ...
1 ответ
Xarray не может понять вложенные группы zarr. Ожидается, что все переменные и координаты будут в плоской группе. Я думаю, ваш единственный вариант - вручную объединить наборы данных. Ты пытался
ds = xr.open_mfdataset([file1, file2], engine="zarr")
?