API-интерфейс OpenAI Chat Completions: как настроить ответы моделей GPT-3.5 или GPT-4, если я не могу их точно настроить?
Мы видели, как некоторые компании используют модели GPT-3.5 или GPT-4 для обучения своих собственных данных и предоставления индивидуальных ответов. Но модели GPT-3.5 и GPT-4 недоступны для тонкой настройки.
Я видел документ OpenAI по этой проблеме, но видел, что OpenAI допускает только тонкую настройку.davinci, например.
Как мне настроить ответы из модели GPT-3.5 или GPT-4, если я не могу их настроить?
2 ответа
Они не настраивают модели GPT-3.5 или GPT-4.
У вас есть два варианта.
ВАРИАНТ 1: Использование или
Они используют LlamaIndexLlamaIndex (ранее GPT-Index) или LangChainLangChain . Оба они позволяют вам подключать модели OpenAI к существующим источникам данных.
ВАРИАНТ 2. Использование конечной точки API OpenAI Embeddings.
Смотрите мой прошлый ответ . Кроме того, как упоминал @peter_the_oak, вы можете использовать Pinecone для хранения векторов внедрения. Pinecone разработан специально для обработки данных такого типа.
Помимо LlamaIndex, существует только базовая комбинация базы данных векторов и LLM. Взгляните на сосноваю шишку: https://www.pinecone.io/learn/vector-database/
База данных векторов хранит фрагменты текста (или фрагменты изображений, звука или чего-либо еще) вместе с числовым вектором. Числовой вектор содержит информацию о тексте. Запрос также можно преобразовать в числовой вектор. Теперь, имея два вектора, существуют алгоритмы поиска того, который больше всего соответствует (например, косинусному расстоянию). Таким образом, вы можете искать в базе данных текст, который наиболее актуален в соответствии с вектором.
Теперь вы можете хранить свои «знания» во многих парах текст/вектор. Если вы получили запрос, сначала прочитайте подходящий контекст из векторной базы данных и поместите полученный текст перед подсказкой. Таким образом, LLM всегда будет иметь правильные знания контекста вместе с запросом клиента.
В большинстве случаев точная настройка требует дополнительных затрат, но подсказки — это очень простое и не такое мощное решение. Базы данных векторов используют подсказки, но предлагают механизм поиска подходящих подсказок, который является мощным промежуточным решением.