Подсказка модели зубра (Google Vertex)

Question

Я работаю над веб-приложением, которое использует генеративный искусственный интеллект (модель Bison на Vertex) для ответа на вопросы пользователей, что-то вроде автоматизированной страницы вопросов и ответов.

Я настроил модель и хотел бы предоставить дополнительную информацию (100 вопросов и ответов) в командной строке.

Есть ли способ избежать отправки всех 100 вопросов и ответов в начале каждого сеанса пользователя?

На самом деле, я не понимаю, как сеансы/история работают на уровне проекта Vertex. Если у меня есть проект, который я ранее предлагал с инструкциями, будет ли тот же проект учитывать это при ответе на вопрос пользователя? Кроме того, сможет ли пользователь в сети влиять на модель с помощью подсказок?

Answer 1

Если вам нужны дополнительные знания для добавления в модель, и они достаточно велики, чтобы их можно было использовать в качестве контекста в подсказке, лучше настроить модель с учетом этой дополнительной информации (а 100 вопросов и ответов могут быть очень лишними). отправляться по всем запросам). Помните также, что количество повторяющегося контента, который вы отправляете каждый раз, будет учитываться при расчете счетов.

Насчет истории — нет, модели API GenAI Studio не записывают разговоры (тольковременно сохраняет для одного разговора «сеанс», но затем и он удаляется).

Я не понял, что вы имели в виду под «сможет ли пользователь в Интернете влиять на модель с помощью подсказок», но все, отправленное позапрос будет рассмотрен... Итак, если вы сохраните профиль пользователя/категорию/предпочтения/комментарии/и т. д. в своем веб-приложении, вы можете встроить его в запрос модели как дополнительный «контекст».