Как присвоить вес или рейтинг набору данных при точной настройке модели LLM?

Question

В настоящее время я занимаюсь доработкой модели мета-ламы/Ламы-2-7b-chat-hf с использованием рецепта Ламы и техники LoRA. Мой подход предполагает оперативное проектирование для улучшения производительности модели с использованием данных, представленных в формате Alpaca:

      [
    {
        "instruction": "What is CubeOS?",
        "input": "",
        "output": "CubeOS is the specialized operating system encompassing all the necessary software and drivers to operate Cubes."
    },
    {
        "instruction": "What is Myst?",
        "input": "",
        "output": "Myst serves as the console interface for the Cubes, and it is also the designated name for the accompanying app."
    },
    .
    .
    .
]

Этот процесс позволяет мне эффективно настроить модель и применить ее для ответа на вопросы, касающиеся конфиденциальных документов.

Я экспериментировал с присвоением баллов парам вопрос-ответ, а затем располагал их в порядке этих оценок для более точной настройки. Однако я столкнулся с проблемами, поскольку модель, похоже, не дает результатов из-за более высокой важности данных с более высокими оценками.

Я наткнулся на статью под названием https://towardsdatascience.com/how-to-fine-tune-llama2-for-python-coding-on-consumer-hardware-46942fa3cf92 , где автор, похоже, использовал аналогичный подход.

Кроме того, я исследовал другие ресурсы, предлагающие метод, включающий определение оценок релевантности для отдельных функций и последующую их сортировку для более точной настройки. Следующая ссылка https://pyvideo.org/pydata-warsaw-2019/learning-to-rank-with-the-transformer.html дает представление об этой технике.

Я также попытался обучить модель, используя структуру подсказок, необходимую для ламы-2:

      <s>[INST] <<SYS>> {{ system_prompt }} <</SYS>> {{ user_message }} [/INST]

Однако этот подход не дал удовлетворительного акцента на ответах.

Учитывая, что у меня есть документы в форматах PDF и DOC, моя цель — придать больший вес конкретным документам и обеспечить их приоритетное появление в качестве лучших ответов.

Я был бы очень признателен за ваши советы о том, как приступить к точной настройке модели путем включения весов или баллов, чтобы подчеркнуть значимость определенных документов.