Для GPT4All не удается загрузить загруженный файл модели. Получение ошибки llama_init_from_file: не удалось загрузить модель (неверное значение f16 5)

Question

Я пытаюсь использовать следующий код для использования GPT4All с langchain, но получаю вышеуказанную ошибку:

Код:

      import streamlit as st 

from langchain import PromptTemplate, LLMChain
from langchain.llms import GPT4All

from langchain.agents.agent_toolkits import create_python_agent
from langchain.tools.python.tool import PythonREPLTool

PATH = 'D:\Python Projects\LangchainModels\models\ggml-stable-vicuna-13B.q4_2.bin'
llm = GPT4All(model=PATH, verbose=True)

agent_executor = create_python_agent(
    llm=llm,
    tool=PythonREPLTool(),
    verbose=True
)

st.title(' GPT For Y\'all')

prompt = st.text_input('Enter your prompt here!')

if prompt: 
    response = agent_executor.run(prompt)
    st.write(response)

И отслеживание ошибок из запускаемого кода:

      llama_model_load: loading model from 'D:\Python Projects\LangchainModels\models\ggml-stable-vicuna-13B.q4_2.bin' - please wait ...
llama_model_load: n_vocab = 32001
llama_model_load: n_ctx   = 512
llama_model_load: n_embd  = 5120
llama_model_load: n_mult  = 256
llama_model_load: n_head  = 40
llama_model_load: n_layer = 40
llama_model_load: n_rot   = 128
llama_model_load: f16     = 5
llama_model_load: n_ff    = 13824
llama_model_load: n_parts = 2
llama_model_load: type    = 2
llama_model_load: invalid model file 'D:\Python Projects\LangchainModels\models\ggml-stable-vicuna-13B.q4_2.bin' (bad f16 value 5)
llama_init_from_file: failed to load model

Я также отправил ту же ошибку в репозиторий gpt4all и пока не получил ответа. Есть ли какие-либо зависимости от версий? Например, хотя документ не указан, я знаю, что для успешного запуска langchain должен иметь >= python3.8.

Answer 1

Возможно, вам не хватит памяти для запуска этой модели. Я думаю, что для модели викуньи требуется как минимум 16 ГБ оперативной памяти. может быть, попробовать что-нибудь поменьше, например, маленькую косатку?

Хотя, если это ошибка памяти, вы ожидаете, что она вам об этом сообщит, так что, возможно, я ошибаюсь.