Описание тега peft

Вопросы с тегом
0 ответов

HuggingFace — загрузить/сохранить PeftConfig как json

Я обучаюсь тонкой настройке модели HuggingFace, добавляя собственные данные и используя LORA. Однако я не хочу загружать файл в HuggingFace, а хочу сохранить его на своем локальном компьютере. Это работает для токенизатора и модели, однако объект Lo…
18 июл '23 в 07:06
1 ответ

Лора, точная настройка занимает слишком много времени

Есть ли причина, почему это дает мне месяц ожидаемого времени обработки? И самое главное, как это ускорить? Мой набор данных представляет собой набор из 20 тысяч коротких предложений (максимум 100 слов каждое). import transformers import torch model…
20 июл '23 в 14:36
1 ответ

Ошибка выполнения: «addmm_impl_cpu_» не реализовано для «Half» — PEFT Huggingface пытается запуститься на ЦП

Я относительно новичок в LLM и пытаюсь наверстать упущенное. Следуя примеру, я немного изменил код, чтобы убедиться, что я запускаю все локально на экземпляре EC2. Обучение прошло нормально только на ЦП (27 часов), модель, токенизатор и конфигурации…
28 июн '23 в 13:28
0 ответов

Вопросы о распределенной точной настройке модели трансформаторов (chatglm) с помощью Accelerate в графических процессорах Kaggle

Я пытаюсь настроить модель Chatglm-6b, используя LoRA с трансформаторами и peft в графических процессорах Kaggle (2*T4). Структура модели: Традиционный метод загрузки (AutoModel.from_pretrained) требует сначала загрузить саму модель (15 ГБ) в ЦП, то…
15 авг '23 в 07:58
1 ответ

Как загрузить точно настроенную модель, такую ​​как Альпака-Лора (PeftModel()), из локальных файлов, а не из моделей Huggingface?

Я настроил модель Llama, используя адаптацию низкого ранга (LoRA), основанную на пакете peft. Файлы результатов и сохраняются. Я могу загрузить точно настроенную модель из Huggingface, используя следующие коды: model = LlamaForCausalLM.from_pretrain…
23 авг '23 в 16:46
1 ответ

Ошибка Llama QLora: целевые модули ['query_key_value', 'dense', 'dense_h_to_4h', 'dense_4h_to_h'] не найдены в базовой модели

РЕДАКТИРОВАТЬ:решено путем удаления target_modules Я пытался загрузитьLlama-2-7b-hfLLM сQLoraсо следующим кодом: model_id = "meta-llama/Llama-2-7b-hf" tokenizer = AutoTokenizer.from_pretrained(model_id, use_auth_token=True) # I have permissions. mod…
21 июл '23 в 08:31
1 ответ

Целевые модули для применения PEFT/LoRA на разных моделях

Я рассматриваю несколько различных примеров использования PEFT на разных моделях. LoraConfigобъект содержитtarget_modulesмножество. В некоторых примерах целевыми модулями являются["query_key_value"], иногда это так["q", "v"], иногда что-то еще. Я не…
26 июл '23 в 05:23
0 ответов

Нехватка памяти CUDA при вызове save_pretrained в скрипте, который пытается Lora обучить большую языковую модель с помощью HuggingFace

Я пытаюсь обучить LLama LLM («eachadea/vicuna-13b-1.1») с использованием LoRA на LambdaLabs A100 40 ГБ. Кажется, все работает нормально, включая обучение, однако сценарий завершается сбоем в последней строке: lora_model.save_pretrained(lora_file_pat…
18 май '23 в 14:37
0 ответов

Объедините базовую модель с моими адаптерами Peft, чтобы создать новую модель.

Я пытаюсь объединить свои доработанные адаптеры с базовой моделью. С этим torch.cuda.empty_cache() del model pre_trained_model_checkpoint = "databricks/dolly-v2-3b" trained_model_chekpoint_output_folder = "/content/gdrive/MyDrive/AI/Adapters/myAdapt…
25 июл '23 в 15:28
0 ответов

Я пытаюсь использовать модель GPTJ-lora для генерации txt, но максимальная длина сгенерированного текста составляет 20 токенов. Как сделать его длиннее

import transformers #from transformers import AutoModelWithHeads model.load_adapter("./",adapter_name='lora') peft_model_path="./" tokenizer = AutoTokenizer.from_pretrained("EleutherAI/gpt-j-6B") tokenizer.pad_token = tokenizer.eos_token tokenizer.…
09 июн '23 в 00:49
2 ответа

Как загрузить доработанную модель пефт/лоры на основе ламы с трансформерами Huggingface?

Я следовал этому руководству (блокнот Colab ), чтобы точно настроить свою модель. Пытаюсь загрузить локально сохраненную модель model = AutoModelForCausalLM.from_pretrained("finetuned_model") урожайностьKilled. Попытка загрузить модель из хаба: урож…
12 июн '23 в 17:34
0 ответов

Как улучшить результаты точно настроенной модели Open Llama 7b для генерации текста?

Я пытаюсь точно настроить модель openllama с пефтом и лорой Huggingface. Я точно настроил модель для конкретного набора данных. Однако вывод изmodel.generate()очень плохо для данного входа. Когда я даю целое предложение из набора данных, оно генерир…
27 июн '23 в 13:27
0 ответов

Ошибка с get_peft_model() и PromptTuningConfig.

Я учусь выполнять быструю настройку и столкнулся с проблемой. Я использую функцию get_peft_model для инициализации модели для обучения из «google/flan-t5-base». model_name='google/flan-t5-base' tokenizer = AutoTokenizer.from_pretrained(model_name,) …
12 июл '23 в 14:02
0 ответов

Как загрузить настроенную модель (объединенные веса) в Colab?

Я настроил модель llama2. Перезагрузил базовую модель и объединил веса LoRA. Я снова сохранил эту наконец загруженную модель и теперь собираюсь ее запустить. base_model = AutoModelForCausalLM.from_pretrained( model_name, low_cpu_mem_usage=True, retu…
13 авг '23 в 05:02
1 ответ

Дальнейшая настройка модели CausalLM, настроенной Peft/LoRA.

Я немного не уверен, как действовать в отношении упомянутой темы. Базовой является модель, созданная с помощью библиотеки Huggingface как модель AutoModelForCausalLM, PEFT и подход LoRA с последующим объединением весов. Теперь я хочу провести дальне…
20 апр '23 в 04:21
1 ответ

big_modeling.py не находит offload_dir

Я пытаюсь загрузить большую модель на свой локальный компьютер и пытаюсь переложить часть вычислений на свой процессор, поскольку мой графический процессор не очень хорош (Macbook Air M2). Вот мой код: from peft import PeftModel from transformers im…
27 мар '23 в 21:47
0 ответов

Сегментированная модель Falcon-7b — RuntimeError: размер представления несовместим с размером и шагом входного тензора

Недавно я настраиваю сегментированную модель Falcon-7b на основе набора данных pubmedQA, предоставленного Hugging face. Для этого я использую настройку префикса. Однако на последнем этапе, когда я вызываю тренера, выскакивает следующая ошибка You're…
07 окт '23 в 03:08
0 ответов

LoRA и QLoRA: точная настройка производительности на llama2

Я настраиваю llama2, используя LoRA и QLoRA , чтобы увидеть различия в обоих. Сначала я тренировался на loRA со специальным токеном завершения <|end|> , чтобы модель знала, когда остановиться. С настройкой loRA все работает нормально, и модель…
04 сен '23 в 19:02
0 ответов

Ошибка CUDA из-за нехватки памяти во время точной настройки PEFT LoRA

Я пытаюсь точно настроить вес модели FLAN-T5, загруженной с обнимающего лица. Я пытаюсь сделать это с помощью PEFT и, в частности, LoRA. Я использую код Python 3 ниже. Я запускаю это на сервере Ubuntu 18.04LTS с графическим процессором Invidia с 8 Г…
01 ноя '23 в 23:48
0 ответов

как выглядит структура модели, когда я использую LoRA на модели, настроенной LoRA

Я настраиваю модель с помощью LoRA и из любопытства выполнил еще одну тонкую настройку с использованием LoRA уже настроенной модели. коды следующие: model = AutoModelForSeq2SeqLM.from_pretrained("bigscience/mt0-large") model = PeftModel.from_pretrai…
05 сен '23 в 08:44