Вернуть значения nan после сохранения в HDFStore
Я храню большой набор данных с большим количеством NaN
значения в HDFStore
используя следующий код с python
/pandas
:
with get_store(work_path+'/stores/store.h5') as store:
for chunk in reader:
for column in column_list:
store.append('%s' % column, chunk[column],
data_columns=column)
И тогда я хочу загрузить первый столбец как numpy
массив, так что у меня есть:
array = store.select(column_list[0]).as_matrix()
Проблема в том, что я получаю крошечный массив без каких-либо начальных NaN
значения, потому что, когда я храню данные в магазине, это своего рода "забыть" NaN
ценности и только не NaN
значения и их индексы. Как мне вернуть массив с начальным NaN
ценности?
1 ответ
Решение
Вам нужно пройти dropna=False
смотрите здесь
К вашему сведению, вы по сути создаете хранилище столбцов (что может лучше или не соответствовать вашей проблеме).