Apache пульсар бесконечное удержание
В документации по темам Apache Pulsar говорится, можем ли мы установить политику хранения времени темы на -1 для бесконечного времени хранения на основе, каковы недостатки бесконечного хранения и можем ли мы использовать pulsar в качестве хранилища сообщений, где данные вечно хранятся в темах, и создавать источники событий приложение вокруг них?
3 ответа
Недостатком является то, что ваши данные будут расти вечно. Однако из-за сегментной архитектуры базового хранилища (бухгалтера) можно добавить больше места, добавив узлы хранилища (т. Е. Все данные не обязательно помещаются на одном компьютере, как в некоторых других системах).
Сегментная архитектура также позволяет довольно просто перемещать данные в систему хранения больших объемов данных (s3 или что-то в этом роде), при этом все еще имея их в распоряжении от Pulsar. Однако это все еще находится на ранних стадиях обсуждения прямо сейчас.
Фактически, вы можете и должны использовать опцию Tiered Storage Pulsar, чтобы выгрузить старые данные в более экономичное хранилище, такое как S3, Google Blob Storage или HDFS. В отличие от Kafka, Pulsar отделил обслуживающие слои от слоев хранения, что позволяет это сделать. В Kafka вам придется "бесконечно добавлять жесткие диски" и экземпляры брокера для их хранения.
Использование преимуществ Pulsar - лучший вариант, поскольку он обеспечивает большую организацию вашего хранилища данных. Поскольку сильная сторона Pulsar - это уровень хранения, который отделяет многоуровневое хранилище от тем, я бы рекомендовал пойти по этому пути, потому что ваши данные будут более безопасными и легкодоступными.