Как я могу создать файл HDF5 меньшего размера?
Я работаю над проблемой классификации изображений с набором данных из примерно 1 000 000 изображений с общим размером ~36 ГБ. Я пытаюсь обучить модель CNN с этими данными на машине с 256 ГБ ОЗУ (и 4 x 16 ГБ VRAM).
Чтобы решить проблемы с памятью, с которыми я столкнулся при прямой подаче изображений в программу, я попытался преобразовать необработанные данные изображений в формат HDF5. Однако размер файла HDF5 продолжал расти, и конвертер падал, когда ему не хватало места на диске. Файл HDF5, сидящий на диске, находится в 2.2TB!!
Ожидается ли этот размер? Как я могу преобразовать это в (желательно намного) меньший файл?