Коннектор снежинки Kafka, работающий в распределенном режиме, останавливается через некоторое время
Журнал распределенного коннектора: для (главного) сервера A: 66, окончание - это главный сервер [SF_KAFKA_CONNECTOR], удалить файлы 1 из стадии: SNOWFLAKE_KAFKA_CONNECTOR_file_stream_demo_distributed_1770328299_STAGE_uat_invoice_topic_1573273750: 04:38,130] ИНФОРМАЦИЯ Создание токена с эмитентом OMAXXXX.KAFKA_CONNECTOR_USER_1.SHA256:0a78qRdrFCTSlVjK3jFMbaPCIp7iBhxCJJaoM4J2LVI= (net.snowflake.ingest.connection.Security: 38,11-20] [net.snowflake.ingest.connection.Security] [new]: .ingest.connection.SecurityManager:178)[2021-11-20 12: 21: 27,349] ИНФОРМАЦИЯ [Worker clientId=connect-1, groupId=connect-cluster] Ключ сеанса обновлен (org.apache.kafka.connect.runtime. DistributedHerder: 1570)[2021-11-20 12:58:38,124] ИНФОРМАЦИЯ Создание токена с субъектом OMAXXXX.KAFKA_CONNECTOR_USER_1 (net.snowflake.ingest.connection.SecurityManager:146)[2021-11-20 12:58:38,124] ИНФОРМАЦИЯ Создание токена с эмитентом OMAXXXX.KAFKA_CONNECTOR_USER_1.SHA256: 0a78qRdrFCJTJBJBa02a0aaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaaa1 151) ServerB $ jps 6149 Jps ServerB $ Примечание: службы коннектора были остановлены сами по себе
Журналы распределенных коннекторов: для (узла / подчиненного) сервера B: коннектор все еще выполняется в фоновом режиме: 99 - подчиненный сервер [2021-11-21 05: 52: 25,255] ИНФОРМАЦИЯ Создание токена с субъектом OMAXXXX.KAFKA_CONNECTOR_USER_1 (net.snowflake.ingest.connection.SecurityManager:146)[2021-11-21 05: 52: 25,255] ИНФОРМАЦИЯ Создание токена с помощью эмитента OMAXXXX.KAFKA_CONNECTOR_USER_1.SHA256: 0a78qRdrFCTSlVjK3jFMbaPCIp7iBhxCJConnectOR_CJJJM4JM4JS_V_C_V_CJ_CJ_FMBaPCIp7iBhx.CJJJJJM4J0_04 -21 05: 52: 25,257] INFO Создан новый JWT (net.snowflake.ingest.connection.SecurityManager: 178) [2021-11-21 05: 52: 25,259] INFO Создание токена с субъектом OMAXXXX.KAFKA_CONNECTOR_USER_1 (net.snowflake.ingest.connection.SecurityManager:146)[2021-11-21 05: 52: 25,259] ИНФОРМАЦИЯ Создание токена с эмитентом OMAXXXX.KAFKA_CONNECTOR_USER_1.SHA256: 0a78qRdrFCTSlVjK3jFMbaPCIp7iBhxCJLJAOIM4J (netsnowflake.ingest.connection.SecurityManager:151)[2021-11-21 05: 52: 25,261] ИНФОРМАЦИЯ Создан новый JWT (net.snowflake.ingest.connection.SecurityManager:178)ServerB$ jps11898 ConnectDistributed25629 JpsServerB$ Примечание: Службы соединителя все еще работают
ПРОВЕРЕННЫЙ СОСТОЯНИЕ СЕГОДНЯ: Главный сервер Службы коннекторов не работали, когда их видели, но подчиненное устройство запущено и работает $ curl localhost:8083/ Connectors /file-stream-demo-distribution /status{"name":"file-stream-demo-distribution "," connector ": {" state ":" RUNNING","worker_id ":" 10.28.18.99:8083"},"tasks":[{"id":0,"state":"RUNNING","worker_id ":" 10.28.18.13:8083"},{"id ": 1," state ":" RUNNING","worker_id ":" 10.28.18.13:8083"} посетителей ,"type":"sink"}
Пожалуйста, помогите мне, как заставить службы работать на обоих серверах и не останавливаться сами по себе.
Я выполнил в nohup так же, как и с &, но его остановили на главном конце.
Поскольку в настоящее время данные не проходят по каналу от KAFKA до Snowflake, так как задержка равна 0.
Поскольку кластер работает очень хорошо и получает данные, но через некоторое время коннектор отключается. Не могу понять поведение