Использование langchain для передачи текста в SQL с использованием специального API llm

Question

Я пытаюсь использовать свою модель llama2 (представленную как API с использованием ollama). Я хочу поговорить с агентом ламы и запросить мою базу данных Postgres (т.е. сгенерировать текст в sql). Мне удалось найти код langchain, который использует для этого открытый ИИ. Однако я не могу найти там ничего, что соответствовало бы моей ситуации.

Любые указатели будут очень полезны.

Код с openai

      # Create connection to postgres
import psycopg2  # Import the library

database = 'postgres'
username = 'postgres'
password = 'password'
server = 'localhost'
port = '5432'

# Establish the connection
conn = psycopg2.connect(
    dbname=database,
    user=username,
    password=password,
    host=server,
    port=port
)

db = SQLDatabase.from_uri(
    "postgresql://postgres:password@localhost:5432/postgres")
toolkit = SQLDatabaseToolkit(db=db, llm=OpenAI(temperature=0))

agent_executor = create_sql_agent(
    llm=OpenAI(temperature=0),
    toolkit=toolkit,
    verbose=True,
    agent_type=AgentType.ZERO_SHOT_REACT_DESCRIPTION,
)

agent_executor.run("Describe the transaction table")

Я хочу, чтобы приведенный выше код работал для моей модели llama2, доступной через API на локальном хосте: 11434/api/generate.

Answer 1

Загрузите свой llm, как указано здесь https://python.langchain.com/docs/integrations/llms/ollama.

а затем используйте это вместо openai. Скорее всего, вам придется изменить подсказки, чтобы они соответствовали желаемому формату llama2.