Как использовать decapoda-research/llama-7b-hf с тонкой настройкой LoRA в LLaMA.cpp?

Question

В настоящее время после тонкой настройки модели decapoda-research/llama-7b-hf с помощью инструмента https://github.com/zetavg/LLaMA-LoRA-Tuner . Теперь я пытаюсь использовать его в LLaMA.cpp с помощью руководства: https://github.com/ggerganov/llama.cpp/discussions/1166 .

Насколько я знаю, для использования мне нужно преобразовать модель LoRA в GGML. А вот в decapoda-research/llama-7b-hf 33 файла.

Итак, как я могу объединить несколько файлов bin в один и загрузить данные точной настройки?

Answer 1

Вам нужно будет использовать конвертер «hf в gguf», который доступен в репозитории llama.cpp.