Задержки/типы данных GPT 4 API
Я попал в бета-версию API и экспериментирую с приложением. Я добрался до того, чтобы заставить API-соединение работать и делать то, что хочу, в pycharm, но у меня есть пара проблем:
У меня довольно медленное время отклика и я также часто нажимаю на ограничение использования (учетная запись API достаточно финансируется). Я предполагаю, что что-то из этого улучшится по мере стабилизации нового продукта? Я бы предпочел не переключаться на более раннюю модель для моего варианта использования.
Я прошу GPT предоставить мне список элементов в формате списка Python, который я могу преобразовать в реальный список. Если я установлю слишком низкую температуру, я получу повторяющиеся элементы, но если я установлю слишком высокую температуру, я не получу правильное форматирование Python.
Я обращаюсь к API 5 или 6 раз, что, вероятно, можно было бы объединить до пары, но это будет зависеть от постоянного получения правильно отформатированного ответа JSON, что кажется более сомнительным, чем запрос списка Python.
По сути, достаточно ли предсказуема эта вещь, чтобы вы могли запросить определенный формат данных, и он будет получен в этом формате достаточно надежно, чтобы на его основе можно было построить приложение?
Любые предложения/обсуждения приветствуются.
Что я пробовал: Пробовал разные температуры. Попросили OpenAI увеличить лимит использования. Другие модели не пробовал.
1 ответ
Попробуйте настроить подсказку «система», чтобы она содержала информацию о том, как вы хотите форматировать сообщения. Обычно это очень последовательно, но на вашем клиенте вы все равно должны убедиться, что он был отформатирован правильно, и, возможно, повторно выполнить запрос и выдать ошибку после слишком большого количества попыток.
Изменение значений температуры и top_p на самом деле не дало лучших результатов ни в одном из случаев использования, с которыми я столкнулся. Я заметил, что при более высокой температуре процесс занимает больше времени, часто время ожидания истекает.