Использование входного набора данных HDF5 в NVIDIA DIGITS

Question

Использование входного набора данных HDF5 в NVIDIA DIGITS

Я новичок в использовании NVIDIA DIGITS. Мой набор данных для поезда имеет следующую структуру, и его формат: .hdf5.

crops       Dataset {27482, 3, 128, 192}
labels      Dataset {27482, 12}
mean        Dataset {3, 128, 192}
pids        Dataset {27482}

Я знаю, как кормить модель более простыми форматами, такими как.txt или.jpg. У меня вопрос, как я могу кормить свою модель в формате.hdf5 в NVIDIA DIGITS

1

deep-learning artificial-intelligence caffe nvidia-digits

Источник

user2091453 11 ноя '16 в 11:36

1 ответ

Решение

Другие вопросы по тегам deep-learning artificial-intelligence caffe nvidia-digits

user2404152 11 ноя '16 в 17:00 2016-11-11 17:00 · Accepted Answer · 2016-11-11 17:00

Наборы данных HDF5 используются только для наборов данных классификации изображений в DIGITS, и даже тогда поддержка не очень полнофункциональна.

Зачем?

Caffe не поддерживает HDF5 почти так же хорошо, как LMDB:

Для больших наборов данных вы должны разбить их на отдельные файлы ( см. Здесь)
Данные не выбираются заранее - весь набор данных сразу считывается в память ( см. Здесь)
Преобразование данных не поддерживается со слоем HDF5Data ( см. Здесь)

Поскольку DIGITS в настоящее время в основном основан на Caffe, наш основной формат набора данных - LMDB. Если / когда мы поддерживаем больше базовых сред, мы можем принять решение о стандартизации в более общем формате, таком как HDF5 или zipfiles.