Как преобразовать в формат gguf с помощью файла tokenizer.json?
Я попытался преобразовать модель ELYZA-japanese-Llama-2-7b-fast-instruct в формат GGUF для развертывания с помощью llama.cpp. Но репозиторий Hugginface не включает файл tokenizer.model, который необходим для преобразования процесса. Но у них есть файл tokenizer.json. Итак, есть ли способ использовать файл tokenizer.json для создания модели в формате GGUF? Если нет, есть ли способ создать файл tokenizer.model?
Большое спасибо.
Есть ли способ использовать файл tokenizer.json для создания модели в формате GGUF? Если нет, есть ли способ создать файл tokenizer.model?