Читает ли MXNet данные тренировок из S3 в потоковом режиме?

Question

На этой странице рассказывается о прямом чтении данных тренировок из корзины S3. Кто-нибудь знает, читаются ли данные в потоковом режиме или все тренировочные данные копируются в локальный кеш перед началом обучения?

Answer 1

Данные фактически читаются в потоковом режиме. Если вы хотите кэшировать весь файл локально, вам нужно сделать это вручную или с помощью сценария до начала обучения.

Обратите внимание, что некоторые итераторы могут прочитать весь файл.rec (чтобы получить метаданные) до начала обучения, если файл.lst не предоставлен. Хорошей идеей будет предоставить файлы.rec и.lst при создании итератора.

Пример:

itr = mxnet.image.ImageDetIter(batch_size=32, data_shape=(3,300,300),
                               path_imgrec=“s3://my_bucket_name/training_data/train.rec”,
                               path_imglist=“s3://my_bucket_name/training_data/train.lst”)