Совместная фильтрация на основе памяти - проблема производительности
Я новичок в рекомендующих системах. Я изучал и внедрял CF на основе памяти. У меня 600 пользователей. Я рассчитываю сходство всех пользователей с активным пользователем. Проблема заключается в том, что, когда я пытаюсь предсказать оценки всех других элементов, которые активный пользователь не оценил. У меня есть 100 000 предметов. Я использую следующую формулу агрегации
https://i.imgur.com/eCcYrnG.png
Он очень медленно используется во время выполнения для генерации рекомендаций для одного пользователя.
Потребуются дни, если я попытаюсь сгенерировать рекомендации для всех пользователей и всех элементов и попытаться сохранить их где-нибудь в серверной части.
Итак, как люди используют алгоритмы CF на основе памяти? Я видел, как он используется в наборе данных MovieLens из 10 миллионов записей.