Как записать большое количество изображений.jpg, .png и т. Д. В один файл?
Я пытаюсь оптимизировать конвейеры компьютерного зрения с глубоким обучением для архитектур HPC, которые имеют высокопроизводительный параллельный ввод-вывод. Хранение большого количества файлов в одном каталоге является анти-паттерном в таких системах. Гораздо лучшая производительность ввода-вывода будет достигнута, если я смогу собрать изображения и записать их в один большой файл.
Какие форматы файлов лучше всего подходят для этой задачи? Существуют ли библиотеки Python для записи большого количества файлов изображений в один двоичный формат? Я натолкнулся на файлы GEIS, которые выглядят подходящими для цели, но не могу найти примеры, демонстрирующие использование.