Ошибка при получении соединения с использованием библиотеки openllm Python

Question

Я пытаюсь использовать этот репозиторий GitHub, особенно приведенный ниже код Python:

import openllm client = openllm.client.HTTPClient('http://localhost:3000') client.query('Explain to me the difference between "further" and "farther"')

Но выдает следующую ошибку:ошибка отказа в соединении.

Как мне запустить сервер, чтобы приведенный выше код работал?

Answer 1

Вам следует обратиться к разделу «Запуск LLM-сервера» проекта github, на который вы ссылаетесь.

Например, чтобы запустить сервер с моделью OPT, вы должны сделать следующее:

      openllm start opt

После этого вы можете открыть http://localhost:3000 в веб-браузере, чтобы проверить, работает ли он, и поэкспериментировать с конечными точками и примерами приглашений для ввода.