AssertionError при использовании llama-cpp-python в Google Colab

Question

Я пытаюсь использовать llama-cpp-python (оболочку Python для llama.cpp) для выполнения вывода с использованием Llama LLM в Google Colab. Мой код выглядит следующим образом:

      !pip install llama-cpp-python
from llama_cpp import ChatCompletionMessage, Llama

model = Llama(
    "/content/drive/MyDrive/<weights-file>.bin",
)

Однако при запуске я получаю эту ошибку:

      AssertionError                            Traceback (most recent call last)
<ipython-input-13-652eb650093d> in <cell line: 9>()
      7 }
      8 
----> 9 model = Llama(
     10     model_path="/content/drive/MyDrive/careo/Wizard-Vicuna-13B-Uncensored.ggmlv3.q4_1.bin",
     11 )

/usr/local/lib/python3.10/dist-packages/llama_cpp/llama.py in __init__(self, model_path, n_ctx, n_parts, n_gpu_layers, seed, f16_kv, logits_all, vocab_only, use_mmap, use_mlock, embedding, n_threads, n_batch, last_n_tokens_size, lora_base, lora_path, low_vram, tensor_split, rope_freq_base, rope_freq_scale, n_gqa, rms_norm_eps, mul_mat_q, verbose)
    321                     self.model_path.encode("utf-8"), self.params
    322                 )
--> 323         assert self.model is not None
    324 
    325         if verbose:

AssertionError: 

Я попробовал запустить этот код на своем локальном компьютере, и он работает без проблем. Есть ли у вас идеи, что может быть причиной ошибки в Google Colab?

Answer 1

С модельного пути -model_path="/content/drive/MyDrive/careo/Wizard-Vicuna-13B-Uncensored.ggmlv3.q4_1.bin"Я вижу, что вы используете формат модели ggmlv3, согласно новому коммиту для репозитория llama-cpp-python , новый формат модели был изменен с ggmlv3 на gguf.

Автор также упомянул, что веса ggmlv3 по-прежнему будут работать для версий до 0.1.79(новая версия), поэтому вы либо указываете версию при установке пакета.pip install llama-cpp-python==0.1.78или измените формат модели на новую версию gguf — см .

Если вам полезны веса моделей CodeLlama, то есть много весов моделей, опубликованных в обнимающем лице, например TheBloke/CodeLlama-13B-GGUF.

Answer 2

@ Ответ Шрирама Говардханама сработал, по крайней мере, для модели «TheBloke/Llama-2-7B-Chat-GGML». Мне пришлось просто установить «pip install llama-cpp-python==0.1.78».