Как написать большой словарь Python (70 Гб) для маленьких кусков файлов
Я пытаюсь обучить классификатору машинного обучения, для которого размер обучающих данных составляет примерно 70 Гб. Это словарь фреймов данных (я могу преобразовать его в большой фрейм данных). Я хотел сохранить большой словарь небольшими порциями и читать данные из маленьких файлов партиями, чтобы использовать их в своем алгоритме обучения. Каков наилучший способ сделать это? Является ли преобразование словаря в файл HDF5 и обработка его для подачи в классификатор хорошим способом?