Большой рекомендатель

Question

Я имею дело с проблемой рекомендаций, которая затрагивает 3 миллиона пользователей и 500 000 продуктов. Цель рекомендации - рекомендовать еще 5-10 продуктов конкретному пользователю при посещении данного продукта.

Мы закончили работу с частью рекомендаций в реальном времени, но обнаружили, что рекомендовать ее не так просто за 1-2 секунды. Мы рассмотрим две стратегии:

1. Запустите рекомендацию в автономном режиме в пакетном режиме, затем сохраните результаты в БД MySQL. Однако, похоже, что количество записей в таблицах огромно. Каждый пользователь для каждого продукта должен хранить не менее 5-10 рекомендуемых продуктов. Если я создам таблицу с пользователем и продуктом в качестве атрибутов таблицы, будет 3 миллиона х 500 000 записей.

2. Прогнозировать рекомендации на лету. Мы только что попробовали, но время отклика слишком велико.

Кто-нибудь может дать мне несколько советов по этой проблеме?

Answer 1

Мне кажется странным создавать список рекомендуемых продуктов для каждой пары пользователь-продукт. Обычно у вас есть только список похожих продуктов для каждого продукта для таких случаев использования, как у вас.