Clojure - анализ ответа на запрос Elasticsearch и извлечение значений

Question

Я пытаюсь разобрать ответ на запрос Elasticsearch и преобразовать его в свой собственный формат. Ответ может иметь вложенные сегменты, и уровень вложенности будет переменным для каждого запроса. Это упрощенная версия результата:

{:bucket-aggregation
 {:buckets
  [{:key "outer_bucket"
    :bucket-aggregation
    {:buckets
     [{:key "inner_bucket_1"
       :bucket-aggregation
       {:buckets
        [{:key 1510657200000, :sum {:value 25}}
         {:key 1510660800000, :sum {:value 50}}]}}
      {:key "inner_bucket_2"
       :bucket-aggregation
       {:buckets
        [{:key 1510657200000, :sum {:value 30}}
         {:key 1510660800000, :sum {:value 35}}]}}
      {:key "inner_bucket_3"
       :bucket-aggregation
       {:buckets
        [{:key 1510657200000, :sum {:value 40}}
         {:key 1510660800000, :sum {:value 45}}]}}]}}]}}

Я хотел бы извлечь: значение и: ключ в структуру, как это:

[{:key ["outer_bucket" "inner_bucket_1" 1510657200000], :value 25}
 {:key ["outer_bucket" "inner_bucket_1" 1510660800000], :value 50}
 {:key ["outer_bucket" "inner_bucket_2" 1510657200000], :value 30}
 {:key ["outer_bucket" "inner_bucket_2" 1510660800000], :value 35}
 {:key ["outer_bucket" "inner_bucket_3" 1510657200000], :value 40}
 {:key ["outer_bucket" "inner_bucket_3" 1510660800000], :value 45}]

Любые предложения о том, как я должен идти по этому поводу?

редактировать: упрощенный желаемый формат

Answer 1

Вот еще один способ сделать это с помощью clojure.walk/postwalk это не предполагает фиксированную глубину вложенности, т.е. оно будет работать с более мелкими или глубоко вложенными входами.

(clojure.walk/postwalk
  (fn [v]
    (cond
      ;; deepest case, pull up sum value
      (and (map? v) (:key v) (:sum v))
      {:key [(:key v)], :value (get-in v [:sum :value])}
      ;; pull up unnecessary buckets map wrapper
      (and (map? v) (:buckets v))
      (flatten (:buckets v))
      ;; select outer bucket + inner buckets
      (and (map? v) (:key v) (:bucket-aggregation v))
      (let [outer-key (:key v)
            buckets (:bucket-aggregation v)]
        (map #(update % :key (fn [k] (into [outer-key] k))) buckets))
      ;; pass-through
      :else v))
  (:bucket-aggregation result))
=>
({:key ["outer_bucket" "inner_bucket_1" 1510657200000], :value 25}
 {:key ["outer_bucket" "inner_bucket_1" 1510660800000], :value 50}
 {:key ["outer_bucket" "inner_bucket_2" 1510657200000], :value 30}
 {:key ["outer_bucket" "inner_bucket_2" 1510660800000], :value 35}
 {:key ["outer_bucket" "inner_bucket_3" 1510657200000], :value 40}
 {:key ["outer_bucket" "inner_bucket_3" 1510660800000], :value 45})

Answer 2

Если вы хотите добавить библиотеку, вот как вы можете сделать это с помощью Spectre:

; assume your data there is in `(def data ...)`
(use 'com.rpl.specter)
(select [:bucket-aggregation :buckets ALL (collect-one :key) ; TODO: extract that reoccuring path
         :bucket-aggregation :buckets ALL (collect-one :key) 
         :bucket-aggregation :buckets ALL (collect-one :key) 
         :sum :value] 
        data)
; => [["outer_bucket" "inner_bucket_1" 1510657200000 25]
; =>  ["outer_bucket" "inner_bucket_1" 1510660800000 50]
; =>  ["outer_bucket" "inner_bucket_2" 1510657200000 30]
; =>  ["outer_bucket" "inner_bucket_2" 1510660800000 35]
; =>  ["outer_bucket" "inner_bucket_3" 1510657200000 40]
; =>  ["outer_bucket" "inner_bucket_3" 1510660800000 45]]

С этого момента это просто некоторая форма:

(map (fn [[k1 k2 k3 v]] {:keys [k1 k2 k3] :value v}) (select ...))
; => ({:keys ["outer_bucket" "inner_bucket_1" 1510657200000], :value 25}
; =>  {:keys ["outer_bucket" "inner_bucket_1" 1510660800000], :value 50}
; =>  {:keys ["outer_bucket" "inner_bucket_2" 1510657200000], :value 30}
; =>  {:keys ["outer_bucket" "inner_bucket_2" 1510660800000], :value 35}
; =>  {:keys ["outer_bucket" "inner_bucket_3" 1510657200000], :value 40}
; =>  {:keys ["outer_bucket" "inner_bucket_3" 1510660800000], :value 45})