Описание тега hdf5storage

Вопросы с тегом
Это пакет hdf5storage, пакет Python для чтения и записи типов данных python в файлы HDF5 (Heirarchal Data Format) помимо типов Numpy.
0 ответов

Загрузить файл.mat в simulink из библиотеки python hdf5storage

Я пытаюсь загрузить / прочитать некоторые случайные данные в Simulink, который я создал с помощью модуля Python hdf5storage, я создал .mat файл в Python (simulink поддерживает только версию 7.3) с использованием этого кода: # get code on https://pyp…
01 дек '15 в 12:21
0 ответов

Правильный и эффективный способ хранения вложенных структурных массивов в HDF5

Приведем следующий пример C структур: struct c { int8_t some_int; int16_t some_other_int; }; struct b { int8_t third_int; struct c sc_arr[15]; }; struct a { int32_t fourth_int; struct b sb_arr[99]; }; Мне интересно, как лучше всего хранить такую ​​с…
19 мар '18 в 06:27
2 ответа

Загрузить файл.mat из python

Я пытаюсь запустить из Python скрипт в Matlab, который запускает режим Simulink, сохранить переменную как Power.mat и прочитать эту переменную в Python. Я использую Python 2.7 на Windows. Я пытался использовать библиотеку hdf5storage, чтобы прочитат…
13 окт '16 в 07:49
3 ответа

Ошибка памяти: обучение большого набора данных

ошибка памяти Мой набор данных имеет 70 тыс. Изображений, которые я хочу пройти через Conv2D но это выдает ошибку памяти, когда я пытался загрузить набор данных. У меня просто 4 ГБ ОЗУ, как я могу решить эту проблему через HDF5 матрица путем создани…
07 мар '18 в 12:40
1 ответ

Python hdf5storage транспонирует мои данные?

Код Python: import h5py import hdf5storage from functools import reduce import numpy as np from operator import mul sz = 128,256,512 a = np.random.normal(size=reduce(mul,sz)).reshape(sz) save_dict = {'data':a} spath = r"test.mat" hdf5storage.savemat…
05 сен '18 в 22:35
2 ответа

Добавление новой переменной в файл.mat с помощью пакета Python hdf5storage

Можно ли добавить новую переменную в файл.mat (v7.3) с помощью пакета Python hdf5storage? Пример: Я написал в Matlab: test = {'Hello', 'world!'; 'Good', 'morning'; 'See', 'you!'}; save('data.mat', 'test', '-v7.3') % v7.3 so that it is readable by h5…
01 фев '15 в 17:21
0 ответов

Что представляет собой один элемент набора данных в случае составного набора данных в файле HDF5?

Что такое один элемент набора данных в случае составного набора данных? Предположим, у меня есть структура, определенная как [StructLayout(LayoutKind.Sequential, Pack = 1)] internal struct Annotation { public long Id; public int TimeOffset; public i…
20 авг '18 в 08:57
0 ответов

Как написать большой словарь Python (70 Гб) для маленьких кусков файлов

Я пытаюсь обучить классификатору машинного обучения, для которого размер обучающих данных составляет примерно 70 Гб. Это словарь фреймов данных (я могу преобразовать его в большой фрейм данных). Я хотел сохранить большой словарь небольшими порциями …
05 апр '18 в 22:47
0 ответов

Python pandas read_hdf ГДЕ термин не работает должным образом

Я пытаюсь сделать простой фильтр для таблицы в формате HDF5, используя Python панд. Работает нормально, когда я запрашиваю только по столбцу "subject": > df_test = pd.read_hdf(result_file, where=['subject==andrew']) > print(df_test) Который да…
03 авг '18 в 10:12
1 ответ

Как импортировать файл.mat-v7.3 используя h5py

У меня есть.mat файл, который имеет 3 матрицы A, B, C. На самом деле я использовал scipy.io для импорта этого файла, как показано ниже. data = sio.loadmat('/data.mat') A = data['A'] B = data['B'] C = data['C'] Но файл v7.3 не может импортироваться т…
04 сен '17 в 22:17
0 ответов

Массив 4D, содержащий видеоданные при сохранении в формате.hdf5, значительно больше исходного видеофайла.

Я пытаюсь преобразовать несколько видео в простой массив, а затем сохранить их в виде файла.hdf5, чтобы я мог загрузить их в облачную службу GPU с медленным подключением к Интернету, но каждое видео при экспорте в формат.hdf5 создает файл.hdf5. файл…
25 апр '19 в 21:50
0 ответов

как решить проблемы, связанные с библиотекой HDF5, которая давила при записи в файлы .nc с использованием библиотеки xarray или netCDF4?

Я записывал некоторые переменные (80k, около 300, около 500) в файл.nc. Я пробовал использовать пакет xarray и netCDF4 в python. Но не удалось с ошибкой, как показано ниже. Я знаю, что эта переменная слишком велика (около 5 ГБ), но иногда 7 переменн…
13 апр '20 в 00:17
3 ответа

Чтение больших файлов HDF5

Я новичок в использовании файлов HDF5, и я пытаюсь читать файлы с формами (20670, 224, 224, 3). Всякий раз, когда я пытаюсь сохранить результаты из hdf5 в списке или другой структуре данных, это занимает так много времени, что я прерываю выполнение,…
02 авг '20 в 05:14
0 ответов

Несоответствие данных между двумя файлами hdf5 в инструменте hexdump

введите описание изображения здесь. Когда я сравнивал с помощью hexdump, разница между двумя файлами hdf5. Сначала я сделал преобразование двоичного кода в h5, используя код C++. Затем я попробовал CSV в H5, используя код Python. В обоих случаях я м…
23 ноя '20 в 14:53
0 ответов

HDF5ExtError при открытии файла из sftp

Я пытаюсь открыть HDF5, расположенный в sftp, с помощью HDFStore (пробовал с обоими pandas 0,15 и 0,23), используя команду: hdf_file = HDFStore('/run/user/2082/gvfs/sftp:host=hostname.com[...]HDF5_filename.hdf5') Но я получаю такую ​​ошибку: HDF5Ext…
08 сен '20 в 16:40
0 ответов

Формат данных H5Tset_precision в файле hdf5

У меня есть поток 12-битных данных кадра пикселей, связанных друг с другом в формате потока байтов. Представьте, например, что 1000 12-битных пиксельных данных связаны друг с другом точно в следующем порядке: P0[11:0], P1[11:0], P2[11:0],,..., P999[…
13 сен '20 в 15:24
1 ответ

Как сравнить несколько файлов hdf5

У меня есть несколько файлов h5py (аннотации на уровне пикселей) для одного изображения. Маски изображений хранятся в файлах hdf5 в виде пар ключ-значение, причем ключ является идентификатором некоторого класса. Все маски (файлы hdf5) соответствуют …
06 мар '21 в 14:49
0 ответов

Проблема с сохранением большого набора данных с помощью hdf5storage

Следующая ошибка возникает, когда я пытаюсь сохранить данные длинного мата с помощью «hdf5storage.write (dict22, '.', 'Test.mat', matlab_compatible = True)» File "/users/p/prylepy1/.local/lib/python3.6/site-packages/h5py/_hl/attrs.py", line 197, in …
08 май '21 в 23:05
0 ответов

Как сохранить файл с количеством совпадений в таблице hdf5?

Как я могу сохранить файл с несколькими посадками (файл со спектрами, которые я нарисовал) в файл hdf5. Мне нужны отдельные группы в файле hdf5, который соответствует qso(каждый qso имеет несколько файлов для хранения).
01 июн '22 в 16:19
1 ответ

Удаление набора данных hdf5 с помощью С#

Я использую базу данных HDF5 и хотел удалить и обновить набор данных, используя приведенный ниже код. Я создаю структуру группы и создал один набор данных, но теперь застрял на удалении набора данных. код ниже: public void DeleteDataset() { string f…
14 апр '22 в 07:51