Существуют ли какие-либо решения для агрегации пакетных файлов журнала?
Я хочу экспортировать из нескольких узлов файлы журналов (в моем случае доступ к Apache и журналы ошибок) и объединить эти данные в пакетном режиме, как запланированное задание. Я видел несколько решений, которые работают с потоковыми данными (например, думаю, писец). Я хотел бы инструмент, который дает мне гибкость, чтобы определить пункт назначения. Это требование связано с тем, что я хочу использовать HDFS в качестве места назначения.
Я не смог найти инструмент, который поддерживает это в пакетном режиме. Перед повторным созданием колеса я хотел бы попросить сообщество Stackru высказать свое мнение.
Если решение уже существует в Python, это было бы еще лучше.
4 ответа
Мы используем http://mergelog.sourceforge.net/ чтобы объединить все наши журналы apache.
Взгляните на Zomhg, систему агрегации и отчетности для файлов журналов, использующую Hbase и Hdfs: http://github.com/zohmg/zohmg
Scribe может удовлетворить ваши требования, существует версия ( ссылка) Scribe, которая может объединять журналы из нескольких источников, и после достижения заданного порогового значения она сохраняет все в HDFS. Я использовал это, и это работает очень хорошо. Компиляция довольно сложная, поэтому, если у вас возникнут проблемы, задайте вопрос.
PiCloud может помочь.
Платформа PiCloud дает вам свободу в разработке ваших алгоритмов и программного обеспечения, не затрачивая время на все процессы, связанные с подготовкой, управлением и обслуживанием серверов.