Чтение и запись массивов в и из файлов HDF5
Я создаю программное обеспечение для моделирования, и мне нужно записать (тысячи) двумерных числовых массивов в таблицы в файле HDF5, где одно измерение массива является переменным. Входящий array
имеет тип float32; для экономии места на диске каждый массив хранится в виде таблицы с соответствующими типами данных для столбцов (следовательно, без использования массивов). Когда я читаю таблицы, я хотел бы получить numpy.ndarray типа float32, чтобы я мог делать хорошие вычисления для анализа. Ниже приведен пример кода с массивом с видами A,B и C плюс время.
То, как я сейчас читаю и пишу, "работает", но это очень медленно. Вопрос заключается в следующем: каков соответствующий способ хранения array
в table
быстро, а также читать его обратно в ndarrays? Я экспериментировал с numpy.recarray, но не могу заставить его работать (ошибки типа, ошибки измерения, совершенно неправильные числа и т. Д.)?
Код:
import tables as pt
import numpy as np
# Variable dimension
var_dim=100
# Example array, rows 0 and 3 should be stored as float32, rows 1 and 2 as uint16
array=(np.random.random((4, var_dim)) * 100).astype(dtype=np.float32)
filename='test.hdf5'
hdf=pt.open_file(filename=filename,mode='w')
group=hdf.create_group(hdf.root,"group")
particle={
'A':pt.Float32Col(),
'B':pt.UInt16Col(),
'C':pt.UInt16Col(),
'time':pt.Float32Col(),
}
dtypes=np.array([
np.float32,
np.uint16,
np.uint16,
np.float32
])
# This is the table to be stored in
table=hdf.create_table(group,'trajectory', description=particle, expectedrows=var_dim)
# My current way of storing
for i, row in enumerate(array.T):
table.append([tuple([t(x) for t, x in zip(dtypes, row)])])
table.flush()
hdf.close()
hdf=pt.open_file(filename=filename,mode='r')
array_table=hdf.root.group._f_iter_nodes().__next__()
# My current way of reading
row_list = []
for i, row in enumerate(array_table.read()):
row_list.append(np.array(list(row)))
#The retreived array
array=np.asarray(row_list).T
# I've tried something with a recarray
rec_array=array_table.read().view(type=np.recarray)
# This gives me errors, or wrong results
rec_array.view(dtype=np.float64)
hdf.close()
Ошибка, которую я получаю:
Traceback (most recent call last):
File "/home/thomas/anaconda3/lib/python3.6/site-packages/numpy/core/records.py", line 475, in __setattr__
ret = object.__setattr__(self, attr, val)
ValueError: new type not compatible with array.
During handling of the above exception, another exception occurred:
Traceback (most recent call last):
File "/home/thomas/Documents/Thesis/SO.py", line 53, in <module>
rec_array.view(dtype=np.float64)
File "/home/thomas/anaconda3/lib/python3.6/site-packages/numpy/core/records.py", line 480, in __setattr__
raise exctype(value)
ValueError: new type not compatible with array.
Closing remaining open files:test.hdf5...done
2 ответа
В качестве быстрого и грязного решения можно избежать циклов путем временного преобразования массивов в списки (если вы можете сэкономить память). По какой-то причине массивы записей легко конвертируются в / из списков, но не в / из обычных массивов.
Хранение:
table.append(array.T.tolist())
Загрузка:
loaded_array = np.array(array_table.read().tolist(), dtype=np.float64).T
Должен быть более "нумпитонический" подход для преобразования между массивами записей и обычными массивами, но я недостаточно знаком с первым, чтобы знать, как это сделать.
Я не работал с tables
, но посмотрел на его файлы с h5py
, Я предполагаю, что ваш array
или же recarray
является структурированным массивом типа dtype:
In [131]: dt=np.dtype('f4,u2,u2,f4')
In [132]: np.array(arr.tolist(), float)
Out[132]:
array([[ 1., 1., 1., 1.],
[ 1., 1., 1., 1.],
[ 1., 1., 1., 1.]])
In [133]: arr
Out[133]:
array([( 1., 1, 1, 1.), ( 1., 1, 1, 1.), ( 1., 1, 1, 1.)],
dtype=[('f0', '<f4'), ('f1', '<u2'), ('f2', '<u2'), ('f3', '<f4')])
С помощью @kazemakase's
tolist
подход (который я рекомендовал в других постах):
In [134]: np.array(arr.tolist(), float)
Out[134]:
array([[ 1., 1., 1., 1.],
[ 1., 1., 1., 1.],
[ 1., 1., 1., 1.]])
astype
получает форму все неправильно
In [135]: arr.astype(np.float32)
Out[135]: array([ 1., 1., 1.], dtype=float32)
view
работает, когда dtypes компонента одинаковы, например, с 2 полями с плавающей запятой
In [136]: arr[['f0','f3']].copy().view(np.float32)
Out[136]: array([ 1., 1., 1., 1., 1., 1.], dtype=float32)
Но это требует изменения формы. view
использует байты буфера данных, просто переосмысливая.
Много recfunctions
функции используют поле путем копирования поля. Здесь эквивалент будет
In [138]: res = np.empty((3,4),'float32')
In [139]: for i in range(4):
...: res[:,i] = arr[arr.dtype.names[i]]
...:
In [140]: res
Out[140]:
array([[ 1., 1., 1., 1.],
[ 1., 1., 1., 1.],
[ 1., 1., 1., 1.]], dtype=float32)
Если количество полей мало по сравнению с количеством записей, эта итерация не дорогая.
def foo(arr):
res = np.empty((arr.shape[0],4), np.float32)
for i in range(4):
res[:,i] = arr[arr.dtype.names[i]]
return res
При большом массиве из 4 полей копирование по полю значительно быстрее:
In [143]: arr = np.ones(10000, dtype=dt)
In [149]: timeit x1 = foo(arr)
10000 loops, best of 3: 73.5 µs per loop
In [150]: timeit x2 = np.array(arr.tolist(), np.float32)
100 loops, best of 3: 11.9 ms per loop