Создание обучающей / проверочной LMDB для цифр NVIDIA в Python
Я пытаюсь создать набор LMDB для обучения / проверки для использования с цифрами NVIDIA, но не могу найти хороших примеров / руководств.
Я понимаю, как создать базу данных LMDB, но я не уверен, как правильно отформатировать данные. Я понял, как создать изображение с помощью caffe_pb2 Datum, установив каналы / ширину / высоту / данные и сохранив их.
Но как мне создать ярлыки LMDB? Я все еще использую Caffe Datum? Если да, то как мне установить каналы / ширину / высоту? Будет ли это работать, если у меня будет одно значение?
Спасибо
1 ответ
На данный момент DIGITS действительно поддерживает данные только в LMDB. Каждое значение в хранилище ключей / значений LMDB должно быть привязкой к Caffe, что ограничивает число измерений до 3.
Несмотря на то, что данные Caffe Datums допускают использование одной числовой метки (datum.label), при загрузке готовой LMDB в DIGITS необходимо указать отдельную базу данных для меток. Это неэффективно, если у вас есть только одна числовая метка (поскольку вы могли бы сделать все это в одной БД), но она более универсальна и масштабируема для других типов меток.
Извините, вы правы, что это не очень хорошо задокументировано. Вот некоторые исходные файлы, которые вы можете найти для вдохновения, если вы так склонны: