Входной плагин Logstash JDBC: Перенос данных из mysql в счетчик пакетов

Question

У меня есть таблица данных объемом 20 ГБ с 50 миллионами строк. Необходимо перейти на ElasticSearch с помощью входного плагина logstash jdbc. Я перепробовал все основные реализации, но мне нужна помощь в переносе данных в пакетном режиме, т.е. только 10 000 строк за раз. Я не уверен, как и где указать этот счетчик и как его обновить при следующем запуске logstash. Пожалуйста, помогите мне решить эту проблему

Вот что у меня есть:

input {
    jdbc {
        jdbc_driver_library => "mysql-connector-java-5.1.12-bin.jar"
        jdbc_driver_class => "com.mysql.jdbc.Driver"
        jdbc_connection_string => "jdbc:mysql://localhost/db"
        jdbc_validate_connection => true
        jdbc_user => "root"
        jdbc_password => "root"
        clean_run => true
        record_last_run => true
        use_column_value => true
        jdbc_paging_enabled => true
        jdbc_page_size => 5
        tracking_column => id
        statement => "select * from employee"
    }
}

Заранее спасибо.

Answer 1

Вам нужно установить jdbc_paging_enabled к истине для того, чтобы pagniation работать.

Но вы также должны убедиться, что clean_run установлено в false, иначе разбиение на страницы не будет работать.