Точная настройка Llama для немаркированных данных

Question

Я хотел бы использовать Llama для создания диалогового чат-бота, который будет отвечать на вопросы в научных новостных статьях. Могу ли я использовать коллекцию немаркированных научных статей для тонкой настройки Llama и «увеличения ее словарного запаса»/«расширения базы знаний»?

Я не уверен, как подойти к этой задаче, не создавая вручную дополнительные тексты в качестве меток для созданных мной подсказок для разработки/обобщения.

Answer 1

Я хочу сделать нечто подобное, и это должно быть возможно, но это не дешево и не просто. Ознакомьтесь с этим документом: https://arxiv.org/abs/2304.08177 .

Эти ребята сделали то, что вы намеревались сделать. Сначала они «переобучили» Llama с корпусом китайского текста объемом около 20 ГБ, а затем доработали модель на основе китайского перевода набора данных Alpaca. При первом переобучении они даже увеличили размер словарного запаса модели.

Я говорю «переобучение», потому что они использовали LoRA как для предварительного обучения, так и для точной настройки, так что это не совсем предварительное обучение, поскольку исходные веса модели не обновляются. Однако с помощью LoRA они добавили достаточно новых весов, чтобы улучшить понимание китайского языка.

Тем не менее, я согласен с Мойзом Хуснайном в том, что в вашем случае это, вероятно, более сложный и несовершенный подход. Особенно, если язык, на котором будет общаться ваш чат-бот, — английский.

Answer 2

По моему опыту, вы не можете. Недавно мы работали над фильмами Grandeur . Мы работали как с Palm , так и с GPT3. Точная настройка заключается в обучении модели некоторому контексту. Как и вы, вы должны привести модели, помеченные примерами.

Мы много тестировали точную настройку, но поняли, что точная настройка не будет достаточно эффективной, пока вы не предоставите много данных. Например, сотни примеров, если не тысячи ссылок .

Вместо этого я рекомендую использовать метод на основе векторной базы данных, чтобы улучшить реакцию моделей. Вы можете прочитать больше об этом из этой замечательной статьи https://a16z.com/2023/06/20/emerging-architectures-for-llm-applications/.