Что такое генеративное тестирование в Clojure?

Question

Я наткнулся Generative Testing in Clojure with spec Понятие и хотел бы узнать об этом.

Также было бы полезно привести несколько примеров.

Answer 1

В качестве вводного материала у нас есть Обоснование и Обзор вместе с Руководством, которое должно предоставить вам информацию как о том, почему и как.

Если вы хотите несколько сложный пример, мы можем взять string->semantic-version функция leiningen.release:

(defn string->semantic-version [version-string]
  "Create map representing the given version string. Returns nil if the
  string does not follow guidelines setforth by Semantic Versioning 2.0.0,
  http://semver.org/"
  ;; <MajorVersion>.<MinorVersion>.<PatchVersion>[-<Qualifier>][-SNAPSHOT]
  (if-let [[_ major minor patch qualifier snapshot]
           (re-matches
            #"(\d+)\.(\d+)\.(\d+)(?:-(?!SNAPSHOT)([^\-]+))?(?:-(SNAPSHOT))?"
            version-string)]
    (->> [major minor patch]
         (map #(Integer/parseInt %))
         (zipmap [:major :minor :patch])
         (merge {:qualifier qualifier
                 :snapshot snapshot}))))

Он берет строку и пытается разобрать ее в читаемую программой карту, представляющую номер версии какого-либо артефакта. Спецификация для него может выглядеть так:

Сначала некоторые зависимости

(ns leiningen.core.spec.util
  (:require
   [clojure.spec           :as spec]
   [clojure.spec.gen       :as gen]
   [miner.strgen           :as strgen]
   [clojure.spec.test      :as test]
   [leiningen.release      :as release]))

затем вспомогательный макрос

(defmacro stregex
  "Defines a spec which matches a string based on a given string
  regular expression. This the classical type of regex as in the
  clojure regex literal #\"\""
  [string-regex]
  `(spec/with-gen
     (spec/and string? #(re-matches ~string-regex %))
     #(strgen/string-generator ~string-regex)))

с последующим определением семантической версии

(spec/def ::semantic-version-string
  (stregex #"(\d+)\.(\d+)\.(\d+)(-\w+)?(-SNAPSHOT)?"))

и некоторые вспомогательные характеристики

(spec/def ::non-blank-string
  (spec/and string? #(not (str/blank? %))))
(spec/def ::natural-number
  (spec/int-in 0 Integer/MAX_VALUE))

для определения ключей в результирующей карте

(spec/def ::release/major     ::natural-number)
(spec/def ::release/minor     ::natural-number)
(spec/def ::release/patch     ::natural-number)
(spec/def ::release/qualifier ::non-blank-string)
(spec/def ::release/snapshot  #{"SNAPSHOT"})

и сама карта

(spec/def ::release/semantic-version-map
  (spec/keys :req-un [::release/major ::release/minor ::release/patch
                      ::release/qualifier ::release/snapshot]))

сопровождаемый спецификацией функции:

(spec/fdef release/string->semantic-version
           :args (spec/cat :version-str ::release/semantic-version-string)
           :ret  ::release/semantic-version-map)

К настоящему времени мы можем позволить Clojure Spec генерировать тестовые данные и передавать их в саму функцию, чтобы проверить, соответствует ли она ограничениям, которые мы для нее наложили:

(test/check `release/version-map->string)
=> ({:spec #object[clojure.spec$fspec_impl$reify__14248 0x16c2555 "clojure.spec$fspec_impl$reify__14248@16c2555"],
     :clojure.spec.test.check/ret {:result true,
                                   :num-tests 1000,
                                   :seed 1491922864713},
     :sym leiningen.release/version-map->string})

Это говорит нам о том, что из 1000 сгенерированных для нас спецификаций тестовых случаев функция прошла каждый из них.

Answer 2

Возможно, вам будет проще начать смотреть на clojure/test.check прежде чем погрузиться в Clojure Spec, Со страницы проекта:

(require '[clojure.test.check :as tc])
(require '[clojure.test.check.generators :as gen])
(require '[clojure.test.check.properties :as prop])

(def sort-idempotent-prop
  (prop/for-all [v (gen/vector gen/int)]
    (= (sort v) (sort (sort v)))))

(tc/quick-check 100 sort-idempotent-prop)
;; => {:result true, :num-tests 100, :seed 1382488326530}

В прозе этот тест гласит: для всех векторов целых чисел v сортировка v равна двойной сортировке v.

Что произойдет, если наш тест не пройден? test.check попытается найти "меньшие" входные данные, которые все еще не работают. Этот процесс называется сокращением. Давайте посмотрим на это в действии:

(def prop-sorted-first-less-than-last
  (prop/for-all [v (gen/not-empty (gen/vector gen/int))]
    (let [s (sort v)]
      (< (first s) (last s)))))

(tc/quick-check 100 prop-sorted-first-less-than-last)
;; => {:result false, :failing-size 0, :num-tests 1, :fail [[3]],
       :shrunk {:total-nodes-visited 5, :depth 2, :result false,
                :smallest [[0]]}}