Графический процессор не используется даже после указания gpu_layers в ctransformers.

Question

Я установил ctransformers, используя -

      pip install ctransformers[cuda]

Я пытаюсь выполнить следующий фрагмент кода -

      from langchain.llms import CTransformers
config = {'max_new_tokens': 512, 'repetition_penalty': 1.1, 'context_length': 8000, 'temperature':0, 'gpu_layers':50}
llm = CTransformers(model = "./codellama-7b.Q4_0.gguf", model_type = "llama", gpu_layers=50, config=config)

Здесь указан параметр gpu_layers, но графический процессор не используется и полная нагрузка приходится на процессор. Может кто-нибудь указать, если какой-то шаг отсутствует.