Zarr сохранение нескольких файлов в общей файловой системе становится все медленнее, zarr или os проблема?
Я обрабатываю набор изображений в кластере с несколькими узлами. Каждое изображение обрабатывается в отдельном ядре.
Во время обработки выходные данные сохраняются в словаре, который временно сохраняется в zarr.DictStore объект. В конце сценария диктат сохраняется в zarr.DirectoryStore с помощью zarr.copy_store функция.
У меня ~ 200 файлов, и в начале обработки вывод сохраняется быстро, но файлы zarr генерируются медленнее и медленнее (последние файлы ~30 минут каждый).
- Когда я запускаю, обрабатывать одни и те же файлы и сохранять их с помощью hdf5 нет разницы во времени обработки.
- Там не значительная дополнительная io давление на сервере.
Любая идея, если это вопрос ZARR или OS?
Любое предложение о том, как я могу выяснить / решить проблему?
Спасибо