Как исправить «type=value_error» при загрузке модели мастера-викуна в PrivateGPT?
Я следую руководству по установке PrivateGPT и возможности запрашивать у LLM мои локальные документы. я используюwizard-vicuna-13B.ggmlv3.q4_1.bin model и согласно README.md изменил настройки файла example.env на новый файл .env: из
PERSIST_DIRECTORY=db
MODEL_TYPE=GPT4All
MODEL_PATH=models/ggml-gpt4all-j-v1.3-groovy.bin
EMBEDDINGS_MODEL_NAME=all-MiniLM-L6-v2
MODEL_N_CTX=1000
MODEL_N_BATCH=8
TARGET_SOURCE_CHUNKS=4
к
PERSIST_DIRECTORY=db
MODEL_TYPE=LlamaCpp
MODEL_PATH=models/wizard-vicuna-13B.ggmlv3.q4_1.bin
EMBEDDINGS_MODEL_NAME=all-MiniLM-L6-v2
MODEL_N_CTX=1000
MODEL_N_BATCH=8
TARGET_SOURCE_CHUNKS=4
Я не менял никакой другой код и успешно запустилingest.pyкоманда, которая обрабатывает данные исходные документы, но я получаю следующую ошибку при попытке запустить программу сpython3 privateGPT.py:
Using embedded DuckDB with persistence: data will be stored in: db
llama.cpp: loading model from models/wizard-vicuna-13B.ggmlv3.q4_1.bin
error loading model: unknown (magic, version) combination: 73726576, 206e6f69; is this really a GGML file?
llama_init_from_file: failed to load model
Traceback (most recent call last):
File "/home/ubuntu/aiExplore/privateGPT23.7.11/privateGPT/privateGPT.py", line 83, in <module>
main()
File "/home/ubuntu/aiExplore/privateGPT23.7.11/privateGPT/privateGPT.py", line 36, in main
llm = LlamaCpp(model_path=model_path, n_ctx=model_n_ctx, n_batch=model_n_batch, callbacks=callbacks, verbose=False)
File "pydantic/main.py", line 341, in pydantic.main.BaseModel.__init__
pydantic.error_wrappers.ValidationError: 1 validation error for LlamaCpp
__root__
Could not load Llama model from path: models/wizard-vicuna-13B.ggmlv3.q4_1.bin. Received error (type=value_error)
В ветке HF с такой же ошибкой TheBloke посоветовал
обновите llama.cpp или любой другой пользовательский интерфейс/код, который вы используете.
Связана ли эта ошибка с обновлением llama.cpp? Если да, то как я могу это сделать?