Описание тега logstash-jdbc
1
ответ
Logstash JDBC - как обработать JSON поле?
У меня есть postgresql, который хранит некоторые данные в виде полей JSON, например: {"adults":2,"children":{"total":0,"ages":[]}} Я использую плагин logstash-input-jdbc для обработки данныхКак мне разобрать JSON из JDBC? Из журналов я вижу, что пол…
30 янв '16 в 09:16
2
ответа
Logstash com.mysql.jdbc.Driver не загружен
У меня проблема с jdbc_driver_library. ELK_VERSION = 6.4.2 И я использую Docker для лося. когда я бегу: /opt/logstash# bin/logstash -f /etc/logstash/conf.d/mysql.conf Получить ошибку: error: com.mysql.jdbc.Driver not loaded. Are you sure you've incl…
10 ноя '18 в 09:45
1
ответ
Как распечатать логи выполнения logstash
Я пытался найти это в Интернете, но не смог получить никакого лидерства. Есть ли способ, которым мы можем напечатать вывод выполнения logstash в файл журнала? Например, я использую плагин JDBC для чтения данных в соответствии с sql_last_start. Я хоч…
19 окт '15 в 22:01
1
ответ
Elastic сохраняет только последнюю запись из logstash
Вот оператор выбора, который является данными транзакции, каждый раз, когда данные вставляются в UserProfile, старые значения индекса удаляются из эластичного jdbc { statement => "SELECT userId,salesTeam FROM UserProfile with (nolock)" } output {…
29 июн '18 в 09:50
1
ответ
Удалите старые документы из Elastic Search, используя logstash
Я использую logstash для индексации данных из postgres(входной плагин jdbc) в asticsearch. У меня нет никакой временной информации в базе данных. Пользователи таблицы Postgres для импорта имеют 2 столбца - userid(уникальный), uname Экспорт эластично…
24 окт '18 в 07:49
1
ответ
Logstash MySQL JDBC LoadError: нет такого файла для загрузки - <путь к файлу>
Я хочу собрать Docker-ELK из этого хранилища. Это мой файл logstash.conf input { jdbc { jdbc_driver_library => "/home/edsoft/IdeaProjects/docker-elk/resources/mysql-connector-java-5.1.36-bin.jar" jdbc_driver_class => "com.mysql.jdbc.Driver" jd…
01 апр '17 в 17:37
0
ответов
Как отобразить значения широты и долготы в geo_point, преобразуя базу данных с помощью входного плагина JDBC в Logstash, который будет использоваться в Kibana?
Я регистрирую базу данных Mariadb в упругом поиске, используя входной плагин jdbc в logstash. Цель состоит в том, чтобы сделать некоторые географические отчеты, используя Kibana. Данные индексируются, но я не могу использовать индексированные долгот…
11 апр '18 в 17:30
0
ответов
Logstash с включенной очередью не проверяет события ввода http после запуска ввода jdbc
Я использую logstash с включенной очередью. Я настроил logstash для вставки строк из mysql через входной плагин mysql при запуске. В настоящее время это впрыскивает 1846 строк. У меня также есть вход http. Когда я отключаю ES и перезагружаю logstash…
15 авг '17 в 00:59
0
ответов
Плагин ввода logstash jdbc выдает ошибку отображения даты при индексации данных в эластичный поиск из postgres
Справочная информация: я пытаюсь проиндексировать данные из Postgres в эластичный поиск и следующие шаги: Шаг 1:- Массовый импорт данных из Postgres с помощью плагина logstash jdbc-input. Шаг 2:- Синхронизируйте дальнейшие изменения метаданных из пр…
03 мар '16 в 20:43
0
ответов
Как объединить несколько входов JDBC в конфигурации logstash на основе условия одного столбца?
У меня есть две таблицы в SQL Server, то есть AppDetails и AppBranchDetails. Я хочу прочитать все строки этих двух таблиц и объединить в зависимости от условия. Ниже приведены два запроса, которые я хочу выполнить: выберите id как colg_id, name, sir…
19 дек '18 в 06:53
1
ответ
Logstash преобразует "гггг-ММ-дд" в "гггг-ММ-дд'ТХХ: мм: сс.СССЗ"
Я использую плагин logstash-input-jdbc для синхронизации моих данных из mysql в elasiticsearch. Однако, когда я посмотрел на данные в asticsearch, я обнаружил, что формат полей всех типов дат изменился с "гггг-ММ-дд" на "гггг-ММ-дд'Т'ХХ: мм: сс.СССЗ…
07 янв '19 в 12:53
1
ответ
IllegalAccessError при использовании вывода logstash jcdc
У меня есть простая конфигурация logstash: input { jdbc { jdbc_driver_library => "..\sqljdbc_6.0\enu\jre8\sqljdbc42.jar" jdbc_connection_string => "jdbc:sqlserver:/server:1433;databaseName=DBNAME;integratedSecurity=true;" jdbc_driver_class =&g…
11 фев '19 в 17:23
1
ответ
Logstash: исключение TZInfo::AmbiguousTime при разборе столбца JDBC Logstash
Я получаю это исключение при получении моих данных с помощью входного плагина Logstash JDBC: error: 26413962 Sequel::InvalidValue TZInfo::AmbiguousTime: 2017-11-05T01:30:00+00:00 is an ambiguous local time. Вероятно, это связано с тем, что я уже кон…
07 ноя '17 в 19:52
0
ответов
Как обрабатывать разметку (HTML) в logstash
Я использую logstash с драйвером JDBC для массового импорта группы данных из SQL Server в Elasticsearch. (Конечная цель - сделать эти данные доступными для поиска из веб-интерфейса.) Один из столбцов таблицы содержит теги HTML (<span id='blah'>…
05 май '17 в 14:53
1
ответ
Входной плагин Logstash JDBC: Перенос данных из mysql в счетчик пакетов
У меня есть таблица данных объемом 20 ГБ с 50 миллионами строк. Необходимо перейти на ElasticSearch с помощью входного плагина logstash jdbc. Я перепробовал все основные реализации, но мне нужна помощь в переносе данных в пакетном режиме, т.е. тольк…
13 май '16 в 07:18
1
ответ
Замена @timestamp с использованием datetime из JDBC-ввода
Как кто-то заменит @timestamp поле в конвейере Logstash без преобразования DateTime в строку, а затем с помощью фильтра даты в этом столбце? mutate { convert => ["datetime", "string"] } date { match => ["datetime", "ISO8601"] }
12 мар '18 в 12:42
2
ответа
Импортируйте данные из Teradata, используя плагин logstash jdbc
Может ли кто-нибудь рассказать, как использовать плагин JDBC для хранения журналов для Teradata? Проблема с Teradata в том, что для этого требуются два файла java_driver_files (tdgssconfig.jar и terajdbc4.jar). Как указать два файла: terajdbc4.jar и…
28 апр '16 в 05:40
1
ответ
Подключение Logstash к SQL Server
Когда я запускаю Logstash с моим файлом конфигурации, появляется следующая ошибка. Я добавил несколько путей к текущему jdbc банке. Был ли класс драйвера переименован или что-то еще? Спасибо [2018-09-11T11:44:57,241][ERROR][logstash.pipeline ] A plu…
11 сен '18 в 10:53
0
ответов
Logstash, данные из jdbc в http_poller?
У меня есть 1 .conf: input { jdbc { jdbc_driver_library => "" jdbc_driver_class => "com.mysql.jdbc.Driver" jdbc_connection_string => "" jdbc_user => "user" jdbc_password => "pass" schedule => "* * * * *" statement => "myrequest"…
19 сен '17 в 13:14
1
ответ
Сохранение даты в микросекундном формате в ElasticSearch
Я пытаюсь сохранить набор событий из базы данных MySQL в эластичный поиск, используя плагин ввода jdbc с Logstash. Запись события в базе данных содержит поля даты в формате микросекунд. Практически, есть записи в базе данных между множеством микросе…
02 май '18 в 08:28