Flink Prometheus Push Gateway Reporter - удаление метрик при завершении работы
Я настроил PrometheusPushGatewayReporter как объяснено в разделе метрик документации.
Я вижу метрики из менеджера вакансий flink и менеджеров задач, отображаемые в пользовательском интерфейсе push-шлюза, а также их правильную проверку кластером Prometheus.
Проблема в том, что хотя я явно установил deleteOnJobShutdown Опция config, только метрики менеджера заданий удаляются, когда задание отменяется с помощью инструмента flink cli.
Есть ли способ также удалить устаревшие метрики диспетчера задач? Моя конфигурация выглядит следующим образом:
metrics.reporter.promgateway.class: org.apache.flink.metrics.prometheus.PrometheusPushGatewayReporter
metrics.reporter.promgateway.host: $PUSH_GATEWAY_HOST
metrics.reporter.promgateway.port: 80
metrics.reporter.promgateway.jobName: foo
metrics.reporter.promgateway.randomJobNameSuffix: true
metrics.reporter.promgateway.deleteOnShutdown: true
metrics.reporter.promgateway.interval: 60 SECONDS
Я использую Flink 1.7.1, на Hadoop 2.6.0
0 ответов
.
В нашем продукте env мы также столкнулись с той же проблемой. Если pushgateway может реализоватьTTL for pushed metrics[1], это будет очень полезно. Но пока мы используем внешнюю систему расписания, чтобы проверить, активно ли задание flink, а затем удаляем метрики с помощью rest api pushgateway [2].