Сохраните и загрузите большой массив (> 100 ГБ) Python и / или уменьшите размер
Мне нужно сохранить действительно большой массив (это матрица doubleс размером 5е5 х 3е4.
Контекст таков: у меня есть одномерная симуляция вязкого диска, каждая строка является снимком симуляции (поверхностная плотность).
все данные актуальны (более или менее), поэтому в принципе я не могу уменьшить размер матрицы. Я пытался с помощью np.save а также h5py, с этим, матрица 5e4x1.5e3 имеет размер 6 ГБ на диске. h5py быстрее чем np.save пишу это, но я не знаю, будет ли это иметь место для полной симуляции (которая должна быть что-то вроде 110 ГБ. Есть ли способ хранить данные в меньшем пространстве? или есть другой способ сохранить и загрузить данные что может быть быстрее, чем два других метода?
Спасибо!