FluentD Aggregator - Когда использовать?
Мы рассматриваем возможность использования FluentD для отправки событий журнала Blue Coat с прокси-серверов и серверов DHCP на эластичный. Одно из ключевых требований - помечать выбросы и аномалии как можно скорее.
Для такого требования имеет ли смысл использовать FluentD Aggregator для получения событий от нескольких (потенциально сотен) агентов-сборщиков FluentD? Или же лучше, чтобы агенты FluentD отправляли события в кластер Kafka, который пишет в Elastic?
Будет действительно полезно, если я смогу получить некоторые рекомендации о том, когда использовать FluentD Aggregator.
Спасибо шарод
1 ответ
Вообще говоря, есть 2 общих случая.
1 - Когда вам нужно использовать несколько плагинов для фильтров 2 - Регулирование пропускной способности для службы назначения /db/etc...
Плагины для фильтра потребляют много производительности. Это означает, что это может повлиять на сервер, который генерирует журнал. Таким образом, свободно работающий на сервере должен выполнять минимальную работу, которая передает журнал в агрегатор или Kafka или что-то.
Дополнительный вариант использования, если вам нужно иногда переписывать конфиги, вам не нужно перезапускать все свободно работающие на сервере, если вы используете фильтры в агрегатных серверах.
2 - Как правило, внешняя служба / БД имеет много ограничений для обновления / вставки данных в свое хранилище. Если много беглых пытается часто писать данные, они легко покажут любые исключения. Чтобы избежать такого случая, следует использовать агрегатор.