pytest-benchmark: запуск установки на каждой итерации теста

Question

Я пытаюсь сравнить процесс связывания наших js-пакетов с помощью pytest-benchmark. Для точной обработки целевой каталог должен быть пустым. Я пытался очистить это при каждом запуске, используя аргумент педантичной настройки, но это выполняется только при инициализации теста, а не между выполнениями. Это код моей последней попытки:

import shutil
import os
import pytest

def clean_bundles():
    print("Cleaning bundles")
    shutil.rmtree(os.path.abspath('precompiled'), True)

def bundle(gulpfile):
    os.system("gulp --gulpfile %s createBundles" % gulpfile)

def test_bundle(benchmark):
    benchmark.pedantic(lambda: bundle("gulpfile.js"), setup=clean_bundles(), rounds=5, iterations=1)

Есть ли какой-либо способ выполнить чистоту между каждой итерацией, не делая ее частью результатов теста?