Источник данных не может быть указан через API Azure OpenAI.

Question

Я развернул модель чата в Azure OpenAI Studio и предоставил ей собственный источник данных с помощью функции «Добавьте свои данные (предварительная версия)».

В сеансе чата на странице игровой площадки чата модель чата может дать правильный ответ на основе предоставленных мной данных. Однако когда я задал тот же вопрос модели через API, модель не может использовать этот источник данных.

Я хотел бы использовать модель чата, использующую мой собственный источник данных через API. Как мне решить эту проблему?

Вот что я пробовал.

1. Развертывание модели gpt-35-turbo в Azure OpenAI Studio.

2. Добавить свои данные с помощью функции «Добавить свои данные (предварительная версия)»

3. Модель дает правильный ответ на основе данных просмотра сеанса чата.

4. Однако модель ведет себя так, как будто она не знает данных, когда я задаю тот же вопрос через API.

      #Note: The openai-python library support for Azure OpenAI is in preview.
import os
import openai
openai.api_type = "azure"
openai.api_base = "https://openai-test-uksouth.openai.azure.com/"
openai.api_version = "2023-03-15-preview"
openai.api_key = "KEY"

response = openai.ChatCompletion.create(
  engine="gpt35turbo",
  messages = [
      {"role":"system","content":"You are an AI assistant that helps people find information."},
      {"role":"user","content":"Summarize `main.py`!"}
              ],
  temperature=0,
  max_tokens=800,
  top_p=1,
  frequency_penalty=0,
  presence_penalty=0,
  stop=None)

print(response)

Ответ

      {
  "id": "chatcmpl-7dtf29DavpRsKGWygZIrJDwj0MDGn",
  "object": "chat.completion",
  "created": 1689743108,
  "model": "gpt-35-turbo",
  "choices": [
    {
      "index": 0,
      "finish_reason": "stop",
      "message": {
        "role": "assistant",
        "content": "I'm sorry, I cannot summarize `main.py` without more information. `main.py` could refer to any Python file and could contain any number of functions or code. Please provide more context or information about the specific `main.py` file you are referring to."
      }
    }
  ],
  "usage": {
    "completion_tokens": 54,
    "prompt_tokens": 32,
    "total_tokens": 86
  }
}

Answer 1

Известная ошибка в разделе «Ограничьте ответы на содержимое данных» через API с использованием gpt-35-turbo, будет обновлена ​​после выхода исправления.

Answer 2

https://learn.microsoft.com/en-us/azure/ai-services/openai/use-your-data-quickstart?pivots=rest-api&tabs=command-line#example-curl-commands

Это вам поможет, я не смог найти поддержку «источников данных» внутри openAI SDK, поэтому вам, вероятно, придется вернуться к простому формату запросов.

Чтобы получить более подробную информацию, предварительный просмотр чата — это просто игровая площадка, вы фактически не изменяете модель и ничего не сохраняете здесь, поэтому вам нужно указать в вызове API источник данных так же, как вы бы это сделали на игровой площадке Azure.

Если вы не планируете изменять приглашение, вы также можете развернуть модель с данными, добавленными как веб-приложение, так и напрямую, и оттуда вызвать API. (Необходимо удалить единый вход, если он не используется, и заменить его токеном JWT). Но я не советую использовать его таким образом для простых вызовов API.

Answer 3

Для меня это больше похоже на то, что вам не хватает добавления в разговор соответствующего индекса, содержащего ваши конкретные данные. В разделе «Просмотр кода» вы можете получить необходимую информацию о вашем экземпляре Cognitive Search и индексе.