Слишком много файлов при попытке прочитать в xarray с помощью dask

Question

Я пытаюсь научиться работать с данными о 18-летнем наборе данных NetCDF, который содержит 1464 файла для каждого года и каждый файл размером 1 МБ. Вместо этого я могу сделать это в цикле, но я хочу протестировать встроенные функции dask с помощью xarray и посмотреть, будет ли он быстрее и эффективнее с точки зрения памяти, чем обычные операторы климатических данных. Итак, я только тестирую его, загружая файлы всего за один год, и это дает мне "ошибку слишком большого количества файлов"

big_ds = xr.open_mfdataset('path_to_folder/*')

Я уже изменил лимит открытых файлов.

 ulimit -a
 >>core file size          (blocks, -c) 0
   data seg size           (kbytes, -d) unlimited
   scheduling priority             (-e) 0
   file size               (blocks, -f) unlimited
   pending signals                 (-i) 62527
   max locked memory       (kbytes, -l) 16384
   max memory size         (kbytes, -m) unlimited
   open files                      (-n) 8000
   pipe size            (512 bytes, -p) 8
   POSIX message queues     (bytes, -q) 819200
   real-time priority              (-r) 0
   stack size              (kbytes, -s) 8192
   cpu time               (seconds, -t) unlimited
   max user processes              (-u) 62527
   virtual memory          (kbytes, -v) unlimited
   file locks                      (-x) unlimited