API Google PlaM по-разному реагирует на веб-сайте и API (Python)

Question

У меня проблема с использованием Palm API(MakerSuite). На веб-сайте MakerSuite и API (с использованием Python) он работает по-разному.

Я только что запустил код, предоставленный веб-сайтом MakerSuite (да, я ввел ключ API), и ответ отличается от того, что я тестировал на веб-сайте MakerSuite.

Я просто надеюсь, что он будет работать так, как показано на сайте.

Answer 1

Было бы полезно увидеть ваш код, особенно приглашение, которое вы используете с API, и вызов(ы) дляpalm.chat()иpalm.reply().

Однако без кода вы должны знать, что модели по умолчанию имеют изменчивость. Вы можете контролировать это с помощью параметра температуры. Если вы все еще видите различия, когдаtemperature=0.0, значит, в вашем коде что-то есть.

Некоторые другие идеи по отладке различий в выводе:

• Проверьте подсказки в обоих случаях. Даже небольшие изменения в пробелах приведут к другим результатам.
• Проверитьtop_kиtop_pпараметры по вашим запросам, если вы используете текстовый сервис, то проверьтеmax_output_tokensнастройки на каждом из них и убедитесь, что они одинаковы.
• Поскольку похоже, что вы используетеchatservice убедитесь, что все части запроса идентичны, т. е. контекст/подсказка, примеры и история разговора. Если что-то отличается, вы можете ожидать увидеть другие результаты.

И в качестве бонуса: если вам каждый раз нужен один и тот же результат, возможно, вам придется найти другой способ сформулировать проблему. LLM хорошо генерируют текст, похожий на человеческий, поэтому результаты могут сильно различаться. Вам нужно строить с учетом этого.