Интерпретация результатов от lightFM

Question

Я построил модель рекомендаций на наборе транзакционных данных пользовательского элемента, где каждая транзакция представлена ​​1.

model = LightFM(learning_rate=0.05, loss='warp')

Вот результаты

Train precision at k=3:  0.115301
Test precision at k=3:  0.0209936

Train auc score:  0.978294
Test auc score : 0.810757

Train recall at k=3:  0.238312330233
Test recall at k=3:  0.0621618086561

Может ли кто-нибудь помочь мне интерпретировать этот результат? Как получается, что я получаю такие хорошие оценки и плохую точность / отзыв? Точность / отзывность становится еще хуже для персонализированного байесовского рейтинга "bpr".

Задача прогнозирования

users = [0]
items = np.array([13433, 13434, 13435, 13436, 13437, 13438, 13439, 13440])
model.predict(users, item)

Результат

array([-1.45337546, -1.39952552, -1.44265926, -0.83335167, -0.52803332,
   -1.06252205, -1.45194077, -0.68543684])

Как я могу интерпретировать результаты прогноза?

Спасибо

Answer 1

Когда дело доходит до разницы между точностью @K в AUC, вы, возможно, захотите взглянуть на мой ответ здесь: Оценка модели рекомендаций LightFM.

Сами оценки не имеют определенной шкалы и не интерпретируются. Они имеют смысл только в контексте определения ранжирования по элементам для данного пользователя, причем более высокие баллы означают более сильное прогнозируемое предпочтение.