Время обучения для Dolly-v2-12b на пользовательском наборе данных с графическим процессором A10
Привет, я пытаюсь обучить dolly-v2-12b или любую модель тележки, используя собственный набор данных с использованием графического процессора A10. Я пишу код в pycharm, ОС Windows. Задание похоже на вопросы и ответы. Я пытаюсь использовать это как помощника по общению, который может отвечать на вопросы. У меня есть набор данных, содержащий более 10 000 записей, каждая запись может содержать около 3000 символов.
Я хотел знать, возможно ли это с имеющимся у меня графическим процессором и сколько времени займет обучение на наборе данных:-время обучения
ОБНОВЛЕНИЕ: я нашел код и использовал его для обучения модели. С моей видеокартой NVIDIA GeForce RTX 3060 я смог обучить модель до 1 миллиарда параметров, если что-то большее приведет к ошибке CUDA из памяти. 8-битный режим еще не пробовал. Я обновлю, когда все заработает.
ОБНОВЛЕНИЕ: Итак, я пытался заставить тележку работать в 8-битном режиме на моем компьютере с системой Windows. Но код, который я нашел, использует bitsnadbytes и deepspeed . Почему-то я считаю, что оба из них невозможно установить и использовать в системах Windows. Если у кого-то получилось, помогите. Я попробовал инструкции на обоих Github (bitsandbytes и deepspeed). Но у меня не получается его установить. Есть ли обходной путь или какое-либо решение для этой проблемы.