Эквивалент набора данных в Julia Flux

Question

Я хочу использовать Flux для обучения модели глубокого обучения на аудиофайлах. В документации Flux они передавали весь массив данных (со всеми примерами) загрузчику данных, который передавалtrain!()функция со списком партий. Дело в том, что у меня в системе недостаточно памяти для загрузки всех аудиофайлов сразу.

В PyTorch dataloader будет кормить dataset объект, который будет иметь логику для открытия одного файла за раз на __getitem__() метод.

Итак, как правильно реализовать это в Flux/Julia, каков эквивалент набора данных Torch?

Answer 1

Я нашел эту ветку на форуме Julia Discourse, которая в основном охватывает то, что я задаю в этом вопросе.

https://discourse.julialang.org/t/pytorch-dataloader-equivalent-for-training-large-models-with-flux/30763

Из некоторых рекомендаций по этой теме есть этот, пакет MLDataUtils.jl, который предлагает аналогичные функции сnobs() а также getobs() функции.