Квантованная модель llama2 13B дает противоречивые результаты

Question

Немного контекста: я только начал использовать модель из Hugging Face, thebloke\llama-2-13b-chat.Q5_K_M.gguf. Я использую его через привязки llama_cpp в Python и использую 1 графический процессор.

Моя цель: извлечь плюсы и минусы из обзоров ресторанов.

Чего я пытаюсь достичь в данный момент: я хочу проверить согласованность вывода, запустив один и тот же вопрос несколько раз и оценив сгенерированный текст. Хотя я не ожидаю таких же результатов, поскольку это вероятностный подход, я ожидаю, что они будут схожими.

Моя проблема: иногда (запуск 31 августа) сгенерированный текст кажется обрезанным. Я не меняю параметры или подсказку. Я ожидал аналогичного результата, но это не так.

Вот мой вклад: дайте точный ответ на вопрос, исходя из контекста. Не будьте многословны. Контекст: если вам нравится индийская еда, обязательно попробуйте этот ресторан! Отличная атмосфера и гостеприимное обслуживание. Мы были в Сваде с другой парой и поделились несколькими блюдами. Обязательно попросите их прийти в одно и то же время, а не всей семьей, поскольку они придут по одному. Мне пришлось попробовать курицу в сливочном масле, которая была на вершине списка лучших, которые я когда-либо пробовал. Мы заказали два великолепных овощных блюда, Овощную Корму Алоо Гобхи, оба были великолепны. Наконец, у нас была восхитительная белая рыба, приготовленная до совершенства. Обслуживание было превосходным, а еда восхитительной. Я настоятельно рекомендую бронировать столик в пятницу или субботу вечером. Вопрос: какие плюсы и минусы у этого ресторана?\n

Вот возможные результаты:

• Плюсы: отличная атмосфера, гостеприимное обслуживание, вкусная индийская еда, лучшая курица в масле, замечательные овощные блюда, восхитительная белая рыба, отличный сервис. Недостатки: В обзоре ничего не указано.

• А: Плюсы:

• О: Судя по отзыву, вот плюсы и минусы ресторана:

Мой код:

      output = []
model_path = "models_gguf\\llama-2-13b-chat.Q5_K_M.gguf"
from llama_cpp import Llama
 
review = "If you enjoy Indian food, this is a must try restaurant! Great atmosphere and welcoming service. We were at Swad with another couple and shared a few dishes. Be sure and ask for them to come at the same time and not family style as they will come one at a time. I had to try the butter chicken which was at the top of the list for the best I have ever tasted. We ordered two fabulous vegetable dishes, Aloo Gobhi Vegetable Korma, both were wonderful. Lastly we had a delightful white fish that was cooked to perfection. The service was excellent and the food amazing. I strongly recommend reservations on a Friday or Saturday night."
sys_prompt = "Q: Give a precise answer to the question based on the context. Don't be verbose. Context: "
 
for test_no in range(0,25):
    llm = Llama(model_path = model_path, 
            n_ctx=2048, 
            n_gpu_layers=43, 
            temp=0.7,  
            top_k= 10
            )
    output.append(llm(sys_prompt + review + " Question: what are the pros and cons of this restaurant?\n A: ", 
                 max_tokens = 1000,
                 stop=["Q:", "\n"],
                 echo=True))