как выглядит структура модели, когда я использую LoRA на модели, настроенной LoRA

Я настраиваю модель с помощью LoRA и из любопытства выполнил еще одну тонкую настройку с использованием LoRA уже настроенной модели.

коды следующие:

      model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/mt0-large")
model = PeftModel.from_pretrained(model, "./mt0_lora1")
peft_config = LoraConfig(task_type=TaskType.SEQ_2_SEQ_LM, inference_mode=False, r=8, lora_alpha=32,
                         lora_dropout=0.1)
model = get_peft_model(model, peft_config)

...
training process
...

model.save_pretrained('./mt0_lora2')

Мне интересно, как будет выглядеть модель mt0_lora2, обученная в данный момент, с точки зрения ее структуры.

Я использовал print(model) кода, чтобы получить структуру этой модели, но результат слишком велик для чтения. Поскольку LLM и трансформаторы для меня совершенно новы, у меня больше не было решения.

0 ответов

Другие вопросы по тегам