Использование конвейера заливки-маски huggingface для получения "оценки" не предполагаемого результата
Я использовал huggingface, чтобы делать прогнозы для замаскированных токенов, и это отлично работает. Я заметил, что для каждого прогноза он дает "балл" и хотел бы получить "балл" для некоторых токенов, которые он не прогнозировал, но предоставил я.
Например, если мое предложение "I ate bacon and <mask> for breakfast" я могу использовать pipeline('fill-mask')чтобы получить прогнозы и их оценки, например, он может вернуть мне ["яйца", 0,1]. Но я бы хотел высказать свое собственное предположение, а затем вернуть счет, который он присваивает моему собственному предположению. например, я мог бы узнать, какой балл он дает слову "блины" в данной ситуации.
Это возможно?
2 ответа
Вы можете использовать для этого цели.
pipe = pipeline('fill-mask', model = model, tokenizer=tokenizer)
result = pipe('I ate bacon and <mask> for breakfast', targets= ['milk'])
Для этой задачи вы можете использовать bert-as-service. Обратитесь к этой библиотеке.
Вы также можете использовать метод fill_mask() Обратитесь по этой ссылке