Архитектура системы сообщений / уведомлений
Мы работаем над проектом по созданию системы распределенных сообщений и уведомлений, такой как Gmail / WhatsApp.
В настоящее время у меня есть некоторые проблемы с масштабированием и производительностью. Наша архитектура отбрасывает сообщения в брокере сообщений kafa. Полезная нагрузка сообщения содержит тело сообщения и получателя / группы. Затем слушатель проверяет сообщение, а затем делает запись в базе данных против получателя.
Эта операция создания вставки миллионов записей в базу данных неэффективна и занимает много времени и накапливается на основе сообщений, присутствующих в брокере. Это приводит к нерегулярным срокам доставки сообщений.
Может кто-нибудь указать мне, как решить эту проблему.
Я всегда заинтригован тем, какова архитектура gmail /whatsapp, и как быстро они смогут мгновенно доставлять свои сообщения сотням миллионов пользователей.