Задержка TextCompleition с большими подсказками — как избежать?
Мы экспериментировали между завершением текста и завершением чата, чтобы создать интерактивный ИИ.
Мы обнаружили, что при дополнении текста ИИ гораздо лучше следует инструкциям, но после добавления к подсказке ряда сообщений (например, около 8 предложений вперед и назад по 90 символов каждое) задержка начинает увеличиваться. Это также увеличивает использование токена (менее важно, но обратите на это внимание).
Кто-нибудь смог использовать автодополнение текста для длинных разговоров, и если да, то удалось ли вам сделать это без существенного снижения задержки?
Вам нужен был промежуточный шаг для подведения итогов предыдущего разговора, а не для передачи всех сообщений по запросу?