как установить максимальное использование памяти графического процессора для каждого устройства при использовании deepspeed для распределенного обучения?
Я новичок в DeepSpeed и имею некоторый опыт глубокого обучения. Я хочу знать, как установить максимальный объем памяти графического процессора для каждого устройства при использовании DeepSpeed?
Я ничего не сделал. у меня нет мыслей
Мое устройство с графическим процессором около 46 ГБ, я хочу запускать длинную ламу. максимальная длина ввода составляет около 8000-10000. Длина последовательности ламы по умолчанию равна 2048, что не позволяет выполнить мою задачу.