h5py Параллельно читает и пишет без MPI
У меня есть файл HDF5, который содержит разные наборы данных в одной группе. Я провел эксперимент, пытаясь заставить различные процессы читать один из этих наборов данных, используя h5py. Я ожидал подобной или близкой производительности, когда процессы читают наборы данных, но хранятся в отдельных файлах HDF5. Однако когда наборы данных находились в одном и том же файле, это давало гораздо меньшую производительность. Я думаю, что это дало такую медленную производительность из-за сериализации метаданных, когда процессы обращались к одному и тому же файлу и пытались прочитать наборы данных (?).
Можно ли выполнять параллельное чтение и запись из / в один и тот же файл HDF5 без использования MPI?
Спасибо