GPT4All не удалось загрузить модель: недопустимый файл модели.
Я установил установщик GPT4All с помощью установщиков с графическим интерфейсом для Mac.
Затем я загрузил необходимые модели LLM и записал PATH, в котором они установлены.
Теперь я пытаюсь загрузить модели через приложение Python, используяstreamlit.
Вот мойapp.py
файл:
# Import app framework
import streamlit as st
# Import dependencies
from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain
from langchain.llms import GPT4All
# Path to weights
PATH = "/Users/toto/Library/Application Support/nomic.ai/GPT4All/GPT4All-13B-snoozy.ggmlv3.q4_0.bin"
# Instance of llm
llm = GPT4All(model=PATH, verbose=True)
# Prompt template
prompt = PromptTemplate(input_variables=['question'],
template="""
Question: {question}
Answer: Let's think step by step
""")
# LLM chain
chain = LLMChain(prompt=prompt, llm=llm)
# Title
st.title(' GPT For Y\'all')
# Prompt text box
prompt = st.text_input('Enter your prompt here!')
# if we hit enter do this
if prompt:
# Pass the prompt to the LLM chain
response = chain.run(prompt)
st.write(response)
Когда я бегуstreamlit run app.py
Я получаю следующее сообщение:
You can now view your Streamlit app in your browser.
Local URL: http://localhost:8501
Network URL: http://10.81.128.79:8501
llama_model_load: loading model from '/Users/toto/Library/Application Support/nomic.ai/GPT4All/GPT4All-13B-snoozy.ggmlv3.q4_0.bin' - please wait ...
llama_model_load: invalid model file '/Users/toto/Library/Application Support/nomic.ai/GPT4All/GPT4All-13B-snoozy.ggmlv3.q4_0.bin' (unsupported format version 3, expected 1)
llama_init_from_file: failed to load model
[1] 3908 segmentation fault streamlit run app.py
Что странно, так это то, что оно корректно работает из настольного приложения GPT4All, но не из кода Python.