Как настроить перколятор для возврата, когда значение агрегации достигает определенного порога?

Question

Возьмем следующий запрос агрегации в качестве примера:

{
  "query": {
    "match_all": {}
  },
  "aggs": {
    "groupBy": {
      "terms": {
        "field": "CustomerName"
      },
      "aggs": {
        "points_sum": {
          "stats": {
            "field": "TransactionAmount"
          }
        }
      }
    }
  },
  "size": 0
}

Мне интересно знать, когда какое-либо CustomerName имеет среднее значение TransactionAmount (stats.avg), которое превышает некоторый порог для всех покупок этого клиента, как только я проиндексирую документ, который поставит мое среднее значение выше этого порога. Кажется, что percolator предназначен для сопоставления документов с правилами, более или менее, но я не могу найти хороших примеров использования percolator для сопоставления правил, основанных на результатах агрегации.

Это возможно? Percolator - лучшее решение здесь? Есть ли другое / лучшее решение? заранее спасибо

Answer 1

Для этого вы можете использовать коммерческий продукт Watcher и определить следующие часы:

PUT _watcher/watch/transaction_alert
{
  "trigger": {
    "schedule": {
      "interval": "1m"
    }
  },
  "input": {
    "search": {
      "request": {
        "indices": "transactions",
        "types": "transaction",
        "body": {
          "query": {
            "match_all": {}
          },
          "size": 0,
          "aggs": {
            "groupBy": {
              "terms": {
                "field": "CustomerName"
              },
              "aggs": {
                "points_sum": {
                  "stats": {
                    "field": "TransactionAmount"
                  }
                }
              }
            }
          }
        }
      }
    }
  },
  "condition": {
    "script": {
      "inline": "return ctx.payload.aggregations.groupBy.buckets.findAll{ cust -> cust.points_sum.avg >= 200}"
    }
  },
  "actions": {
    "send_email": { 
      "email": {
        "to": "<username>@<domainname>", 
        "subject": "Customer Notification - Transaction > 200",
        "body": "The attached customers have a transaction average above $200"
        "attachments" : {
           "data.yml" : {
              "data" : {
                 "format" : "yaml" 
              }
           }
        }
      }
    }
  }
}

ОБНОВИТЬ

Подводить итоги:

• Watcher - коммерческий продукт
• ElastAlert не поддерживает его (пока) и требует определенных усилий, чтобы заставить его работать

Есть еще один гораздо более простой и дешевый способ добиться этого с помощью Logstash. Хотя elasticsearch плагин ввода не поддерживает агрегации, можно использовать http_poller входной плагин для регулярной отправки запроса агрегации в Elasticsearch. Затем с помощью фильтра вы можете проверить, достигнут ли желаемый порог или нет, и, наконец, предупредить кого-то по электронной почте, если это так, используя email выходной плагин.

Конфигурация в основном выглядит следующим образом (обратите внимание, что указанный выше запрос агрегирования должен быть закодирован в URL и отправлен в ES с помощью source=... параметр). Также обратите внимание, что я изменил ваш запрос, чтобы отсортировать сегменты в соответствии с points_sum.avg (По убыванию)

input {
  http_poller {
    urls => {
      test1 => 'http://localhost:9200/your-index/_search?source=%7B%22query%22%3A%7B%22match_all%22%3A%7B%7D%7D%2C%22aggs%22%3A%7B%22groupBy%22%3A%7B%22terms%22%3A%7B%22field%22%3A%22CustomerName%22%2C%22order%22%3A%7B%22points_sum.avg%22%3A%22desc%22%7D%7D%2C%22aggs%22%3A%7B%22points_sum%22%3A%7B%22stats%22%3A%7B%22field%22%3A%22TransactionAmount%22%7D%7D%7D%7D%7D%2C%22size%22%3A0%7D'
   }
   # checking every 10 seconds
   interval => 10
   codec => "json"
  }
}
filter {
  split {
    field => "[aggregations][groupBy][buckets]" 
  }
}
output {
  if [aggregations][groupBy][buckets][points_sum][avg] > 200 {
    email {
      to => "<username>@<domainname>"
      subject => "Customer Notification - Transaction > 200",
      body => "The customer %{[aggregations][groupBy][buckets][key]} has a transaction average above $200"
    }
  }
}

Согласитесь, это очень упрощенная реализация, но она должна работать, и вы можете опираться на нее, чтобы сделать ее умнее, с Logstash и вашим воображением предел - это небо;-)

ОБНОВЛЕНИЕ 2

Для этого также может быть использован другой инструмент node.js с эффектом упора.