Эффективный доступ к произвольным пакетам NDArray в mxnet
Подгонка коннететов, таких как Resnet и VGG, использует класс Python ImageRecordIter, который позволяет эффективно загружать пакеты из больших коллекций изображений RGB, хранящихся в файлах RecordIO .rec,
Кто-нибудь знает об эквивалентных средствах для больших произвольных входных 2D или 3D матриц (для 2D, строки = элементы и столбцы = объекты, + каналы в 3D)?
NDArrayIter требует загрузки всего набора данных в память, чего в моем случае следует избегать (файл данных>40 Гб). CSVIter не допускает прямого тасования и работает только для 2D матриц.
1 ответ
Вы можете сохранить каждый образец данных в отдельном файле и реализовать очень простой пользовательский DataSet класс, следующий за ссылочным кодом ImageFolderDataset