Хранение и поиск данных в Python
У меня довольно большие панды DataFrames и Panels хранятся на диске, некоторые к северу от 1 ГБ. В прошлом я использовал.to_pickle и.read_pickle, но обычно процесс сохранения и поиска составляет>2 минуты. Есть ли способ ускорить это? Я пробовал хранилище HDF5 и не вижу значительного увеличения скорости (хотя, возможно, я не правильно его использую). Есть ли какие-нибудь библиотеки / примеры кода, на которые вы могли бы мне указать, которые могли бы быть полезными?
% time cov_pickle = pd.read_pickle (r'Pickled.p ') Время стены: 1мин 29с
%time hd_method = pd.read_hdf(r'Store.h5', 'corr') Время стены: 1мин 32 с
Спасибо!