Как избежать ложных предупреждений, если у вас есть несколько временных рядов из метрик kubestate?

На основании этого я получаю 2 временных ряда, которые иногда вызывают ложные оповещения, каков наилучший способ избежать этого?

kube_pod_status_phase{env="prod" , pod = "$podname" , phase = "Pending" }