GPT4All не удалось загрузить модель: недопустимый файл модели.

Я установил установщик GPT4All с помощью установщиков с графическим интерфейсом для Mac.

Затем я загрузил необходимые модели LLM и записал PATH, в котором они установлены.

Теперь я пытаюсь загрузить модели через приложение Python, используяstreamlit.

Вот мойapp.pyфайл:

      # Import app framework
import streamlit as st

# Import dependencies
from langchain.prompts import PromptTemplate
from langchain.chains import LLMChain
from langchain.llms import GPT4All

# Path to weights
PATH = "/Users/toto/Library/Application Support/nomic.ai/GPT4All/GPT4All-13B-snoozy.ggmlv3.q4_0.bin"

# Instance of llm
llm = GPT4All(model=PATH, verbose=True)

# Prompt template
prompt = PromptTemplate(input_variables=['question'],
                        template="""
                        Question: {question}
                        
                        Answer: Let's think step by step  
                        """)

# LLM chain
chain = LLMChain(prompt=prompt, llm=llm)

# Title
st.title(' GPT For Y\'all')

# Prompt text box
prompt = st.text_input('Enter your prompt here!')

# if we hit enter do this
if prompt: 
  # Pass the prompt to the LLM chain
  response = chain.run(prompt)
  
  st.write(response)

Когда я бегуstreamlit run app.pyЯ получаю следующее сообщение:

        You can now view your Streamlit app in your browser.

  Local URL: http://localhost:8501
  Network URL: http://10.81.128.79:8501

llama_model_load: loading model from '/Users/toto/Library/Application Support/nomic.ai/GPT4All/GPT4All-13B-snoozy.ggmlv3.q4_0.bin' - please wait ...
llama_model_load: invalid model file '/Users/toto/Library/Application Support/nomic.ai/GPT4All/GPT4All-13B-snoozy.ggmlv3.q4_0.bin' (unsupported format version 3, expected 1)
llama_init_from_file: failed to load model
[1]    3908 segmentation fault  streamlit run app.py

Что странно, так это то, что оно корректно работает из настольного приложения GPT4All, но не из кода Python.

0 ответов

Другие вопросы по тегам