Описание тега fluentd
Fluentd - это распределенный сборщик данных с открытым исходным кодом, который получает журналы в формате JSON, буферизует их и отправляет в другие системы, такие как Amazon S3, MongoDB, Hadoop, Loki(система Grafana) или другие Fluentds.
0
ответов
Как заставить приложения Docker отправлять журналы во встроенный агрегатор журналов openshift?
Я настраиваю кластер Openshift и пытаюсь объединить журналы, используя встроенный стек EFK, который Openshift создает, когда я запускаю кластер с: oc cluster up --logging=true Однако, когда я добавляю в узлы другие проекты и образы докеров, я не сов…
14 сен '17 в 03:01
1
ответ
td-agent не работает для логов apache
Мне нужна одна помощь, я также использую новейшую версию td-agent в ubuntu 12.04 для парсинга журналов apache на mongodb, в конфигурации, если я поставлю "format none", тогда он создает документ mongo и помещает все в ключ сообщения, но когда я гово…
09 фев '15 в 17:05
1
ответ
Интеграция Fluentd-logstash
Я использую плагин fluentd out-http для интеграции с logstash, но получаю следующую ошибку: не удалось создать журнал событий fluentd tag="fluent.info" event={"type"=>"syslog", "plugin_id"=>"object:3f923544ab40", "message"=>"завершение работы с типо…
13 июл '17 в 14:24
1
ответ
Регистрация событий nginx из док-контейнера, управляемого kubernetes
В настоящее время, насколько я понимаю, kubernetes не предлагает собственных решений для ведения журналов, а также не позволяет указывать драйвер ведения журналов при использовании docker в качестве контейнерной технологии из-за проблем инкапсуляции…
03 янв '18 в 23:00
0
ответов
fluent-plugin-kafka: Authentication using SASL
I cannot find much documentation on how to use SASL authentication (SCRAM) with the fluent-plugin-kafka. The only sources that come any close are https://github.com/fluent/fluent-plugin-kafka https://github.com/zendesk/ruby-kafka Does anyone have an…
11 июл '18 в 14:34
1
ответ
Fluentd Elasticsearch Kibana logs динамический индекс отображения GEOPOINT
Я использую стек журналов EFK, и мне удалось настроить фильтр fluentd и сопоставить конфигурации так, чтобы журналы доступа tomcat собирали в Кибане все необходимые поля: IP, широта, долгота, город, код страны и т. Д. я имею curl -XPUT -H "Content-T…
11 фев '19 в 06:11
0
ответов
Объект json формата Fluentd для массива json
У меня есть файл журнала в формате ниже: 2018-09-27T11:07:32+07:00 gs_admin.test message1 2018-09-27T11:08:52+07:00 gs_admin message2 Я хочу использовать любой плагин FluentD (parser, in, filter plugin), чтобы преобразовать этот журнал в следующий ф…
25 фев '19 в 04:16
1
ответ
Передать имя файла плагину соответствия
Я настраиваю стек fluentd /asticsearch / kibana и хочу зарегистрировать имя файла, по которому я получил событие, в документе. вот моя конфигурация: <source> type tail_ex path /tmp/data/access pos_file /tmp/data/log.pos format /^(?<host>…
30 июл '14 в 16:06
1
ответ
[Fluentd] Как распаковать файлы во Fluentd
Я пытаюсь обработать файлы журналов с расширением.gz на fluentd с помощью плагина cat_sweep, но попытка не удалась. Как показано в приведенном ниже конфиге, я пытаюсь обработать все файлы в / opt / logfiles / * location. Однако, когда формат файла.g…
15 мар '17 в 13:55
1
ответ
FluentD AWS плагин Kinesis не ставит записи для Kinesis
Я пытался выяснить, является ли FluentD жизнеспособным способом для моей компании отправлять данные в Kinesis через. Я установил FLuentD с помощью rd-пакета td-agent на экземпляре Amazon EC2. Существует не так много параметров для отправки данных, п…
12 авг '15 в 15:22
0
ответов
Ошибка "Systemd::JournalError: Нет такого файла или каталога"
Я установил fluentd-kubernetes-daemonset на своих рабочих-кубе, на одном все работало без ошибок, а на другом выдает следующие ошибки: 2018-12-07 03:48:33 +0000 [warn]: #0 [in_systemd_bootkube] Systemd::JournalError: No such file or directory retryi…
07 дек '18 в 12:44
1
ответ
Ошибка google-fluentd в Debian Stretch (агент Google Logging)
После обновления моего образа докера с php:7.1.11-apache до php: 7.2.0-apache (FROM debian: stretch-slim) пакет google-fluentd не найден / не установлен. Это вывод, когда я пытаюсь создать образ докера в GKE при установке google fluentd ( https://dl…
15 дек '17 в 19:29
1
ответ
Fluentd Несколько регулярных выражений с именем Captures
Можем ли мы объединить несколько регулярных выражений именованных захватов? Я пытаюсь использовать следующее регулярное выражение в файле confentd conf, чтобы получить "User" и "Serial_Number", но смог получить только имя (User). TD-agent.conf: <…
29 июл '15 в 19:33
0
ответов
Как обеспечить пространство имен Kubernetes для Stackdriver с коляской fluentd-gcp?
Когда POD выводит данные в stdout/stderr, Kubernetes на GCP направляет их в ведение журнала Stackdriver. Из пользовательского интерфейса Stackdriver Logging я могу фильтровать по пространству имен и т. Д. Однако при использовании коляски агента Flue…
01 июн '17 в 10:30
0
ответов
Могли бы вы иметь несколько запущенных контейнеров, которые обрабатывают все журналы Docker?
Могли бы вы иметь несколько запущенных контейнеров, которые обрабатывают все журналы Docker? 1 запись в ELK-2 и 1 в ELK-6? Или они оба будут вмешиваться друг в друга? Я хотел бы перейти на ElasticSearch 6, но позволить пользователям продолжать испол…
05 сен '18 в 15:51
1
ответ
Стандартное решение для запуска списка скриптов в качестве задания cron (возможно, свободно?)
Мне нужно регулярно запускать несколько скриптов и отправлять их вывод в формате метрик Прометея. На данный момент я использую самодельное решение на Flask с фоновым заданием cron, выгружаю вывод в файлы, анализирую их и конвертирую в формат.prom, а…
08 авг '18 в 15:37
1
ответ
Запустите команду Java из плагина in_exec Fluentd
У меня есть проблемы с настройкой Fluentd; Я хочу позвонить in_exec плагин для запуска Linux bash-скрипта, который вызывает jar, но он не работает. Мой код: <source> @type exec format none tag none command sh /var/tmp/script.sh run_interval 5m…
08 фев '18 в 07:51
1
ответ
Контейнер Fluentd не работает в Openshift
Я пытаюсь запустить беглое изображение на Openshift. Я использую официальное изображение Fluentd из Docker Hub для того же. Тем не менее, я получаю следующую ошибку - adduser: permission denied (are you root?) chown: unknown user fluent chown: unkno…
03 апр '18 в 06:52
1
ответ
Fluentd в Kubernetes DaemonSet выборочно анализирует различные журналы
Таким образом, базовая архитектура Fluentd DaemonSet очищает журналы Docker от настроек модулей, следуя этой статье в блоге, которая в конце концов использует эти ресурсы. У меня есть несколько модулей и служб, работающих в кластере, и я не могу кон…
19 сен '18 в 22:47
1
ответ
Разделение docker stdout и stderr с помощью плагина fluentd fluent-plugin-rewrite-tag-filter
В настоящее время у меня есть следующий конфиг: <match docker.nginx> @type rewrite_tag_filter rewriterule1 source stdout docker.nginx.stdout rewriterule2 source stderr docker.nginx.stderr </match> но это значит, что с каждым контейнером …
18 фев '16 в 16:58