Langchain не может создать индекс при работе внутри сервера Django

Question

У меня есть простой чат-бот Langchain, использующий GPT4ALL, который запускается в одноэлементном классе на моем сервере Django.

Вот простой код:

      gpt4all_path = './models/gpt4all_converted.bin'
llama_path = './models/ggml_model_q4_0.bin'

embeddings = LlamaCppEmbeddings(model_path=llama_path)

print("Initializing Index...")
vectordb = FAISS.from_documents(docs, embeddings)
print("Initialzied Index!!!")

Этот код работает нормально при отдельном использовании внутри оболочки Manage.py, но при создании экземпляра класса не удается создать индекс FAISS с тем же кодом. Он продолжает печататьпри этом мс увеличивается при каждом сообщении печати.

Кто-нибудь может мне помочь?

Answer 1

Ответом было использование Chroma вместо FAISS по какой-то причине. Я до сих пор этого не понимаю, потому что, честно говоря, это не имеет смысла, но это работает. Я обновлю этот ответ, когда смогу и когда действительно пойму это, но для тех, кто столкнется с чем-то подобным в будущем и не сможет найти решение, попробуйте Chroma вместо FAISS.