Формат LLama 2 Вывод не анализируется правильно

Question

Я столкнулся с трудностями при получении ответа на мой запрос после нескольких попыток. В настоящее время я впервые использую LLama 2 вместе с LangChain. Проблема, с которой я столкнулся, связана с извлечением ответа от LLama в форме JSON или списка. Я пытался включить это требование в подсказку, но, к сожалению, это не дало желаемого результата. Кроме того, я экспериментировал с реализациейoutput_parserфункция от LangChain, но она также не дала ожидаемых результатов. Ниже приведен код, который я использовал.

      from langchain.output_parsers import CommaSeparatedListOutputParser
output_parser = CommaSeparatedListOutputParser()
format_instructions = output_parser.get_format_instructions()
prompt = PromptTemplate(
    template="Extract a contextual keywords for this product title: {product_title}.\n\n\n\n\n\n\n\n\n\n\n{format_instructions}",
    input_variables=["product_title"],
    partial_variables={"format_instructions": format_instructions}
)
question = prompt.format(product_title="Trottinette électrique pure air pro 2ème gén")
output=llm(question)
output_parser.parse(output)
print(output)

Есть ли у вас какие-либо предложения о том, как получить ответ исключительно на мои запросы, исключив любые посторонние сгенерированные предложения, такие как «Конечно, ...» или «Ваши ключевые слова...»? По сути, я хочу захватить только тот список элементов, который я указал.