Подсчитайте токены файла jsonl для точной настройки gpt
Как я могу вычислить токен моего файла JSONL, который создается после запуска команды openai в терминале. Я знаю, что когда мы запускаем команду для создания модального окна, она показывает статистику об использовании и ценах taokens, но я не мог видеть эту статистику, потому что зависло соединение на стороне клиента.
Итак, как мне рассчитать количество токенов, поскольку я хочу оценить цену, которую мне будет стоить за тонкую настройку?
Как я могу вычислить токен моего файла JSONL, который создается после запуска команды openai в терминале. Я знаю, что когда мы запускаем команду для создания модального окна, она показывает статистику об использовании и ценах taokens, но я не мог видеть эту статистику, потому что зависло соединение на стороне клиента.
Итак, как мне рассчитать количество токенов, поскольку я хочу оценить цену, которую мне будет стоить за тонкую настройку?