Как я могу получить больше отзывов о журнале, когда у меня есть набор тестов, который использует @RunWith?

Question

У меня есть специальный тестовый прогон, который я сделал для запуска части своих тестов, чтобы я мог распределять тесты по разным узлам jenkins. Если бы все мои интеграционные тесты были запущены, это заняло бы час. Таким образом, у меня есть 3 сервера, на которых выполняется 1/3 тестов, и это занимает всего 20 минут. Вот как выглядит мой набор:

import junit.framework.JUnit4TestAdapter;
import junit.framework.TestSuite;
import org.junit.Ignore;
import org.junit.extensions.cpsuite.ClassesFinder;
import org.junit.extensions.cpsuite.ClasspathFinderFactory;
import org.junit.extensions.cpsuite.SuiteType;
import org.junit.runner.RunWith;
import org.junit.runners.AllTests;
import org.slf4j.Logger;
import org.slf4j.LoggerFactory;

import java.util.ArrayList;
import java.util.Collections;
import java.util.Comparator;
import java.util.List;

@RunWith(AllTests.class)
public class DistributedIntegrationTestRunner {

    private static Logger log = LoggerFactory.getLogger(DistributedIntegrationTestRunner.class);

    public static TestSuite suite() {
        TestSuite suite = new TestSuite();

        ClassesFinder classesFinder = new ClasspathFinderFactory().create(true,
                new String[]{".*IntegrationTest.*"},
                new SuiteType[]{SuiteType.TEST_CLASSES},
                new Class[]{Object.class},
                new Class[]{},
                "java.class.path");

        int nodeNumber = systemPropertyInteger("node.number", "0");
        int totalNodes = systemPropertyInteger("total.nodes", "1");

        List<Class<?>> allTestsSorted = getAllTestsSorted(classesFinder);
        allTestsSorted = filterIgnoredTests(allTestsSorted);
        List<Class<?>> myTests = getMyTests(allTestsSorted, nodeNumber, totalNodes);
        log.info("There are " + allTestsSorted.size() + " tests to choose from and I'm going to run " + myTests.size() + " of them.");
        for (Class<?> myTest : myTests) {
            log.info("I will run " + myTest.getName());
            suite.addTest(new JUnit4TestAdapter(myTest));
        }

        return suite;
    }

    private static int systemPropertyInteger(String propertyKey, String defaultValue) {
        String slaveNumberString = System.getProperty(propertyKey, defaultValue);
        return Integer.parseInt(slaveNumberString);
    }

    private static List<Class<?>> filterIgnoredTests(List<Class<?>> allTestsSorted) {
        ArrayList<Class<?>> filteredTests = new ArrayList<Class<?>>();
        for (Class<?> aTest : allTestsSorted) {
            if (aTest.getAnnotation(Ignore.class) == null) {
                filteredTests.add(aTest);
            }
        }
        return filteredTests;
    }

    /*
    TODO: make this algorithm less naive.  Sort each test by run duration as described here: http://blog.tradeshift.com/just-add-servers/
     */
    private static List<Class<?>> getAllTestsSorted(ClassesFinder classesFinder) {
        List<Class<?>> allTests = classesFinder.find();
        Collections.sort(allTests, new Comparator<Class<?>>() {
            @Override
            public int compare(Class<?> o1, Class<?> o2) {
                return o1.getSimpleName().compareTo(o2.getSimpleName());
            }
        });
        return allTests;
    }

    private static List<Class<?>> getMyTests(List<Class<?>> allTests, int nodeNumber, int totalNodes) {
        List<Class<?>> myTests = new ArrayList<Class<?>>();

        for (int i = 0; i < allTests.size(); i++) {
            Class<?> thisTest = allTests.get(i);
            if (i % totalNodes == nodeNumber) {
                myTests.add(thisTest);
            }
        }

        return myTests;
    }
}

Такого рода работы, за исключением случаев, когда я пытаюсь использовать несколько DistibutedIntegrationTestRunners в разных модулях и запускаю их все одновременно, "все не работает". Обычно я не пишу на SO с жалобами, которые расплывчаты, но очень трудно понять больше, потому что этот код не дает много обратной связи. Это единственное логирование, которое я получаю:

        log.info("There are " + allTestsSorted.size() + " tests to choose from and I'm going to run " + myTests.size() + " of them.");
        for (Class<?> myTest : myTests) {
            log.info("I will run " + myTest.getName());

Это происходит до запуска любого из тестов. Было бы очень полезно, если бы я мог получить больше журналов, чем это. Например, было бы очень полезно, если бы я мог распечатать "Я собираюсь запустить FooTest" прямо перед запуском теста. Есть какой-либо способ сделать это?

Я пролистал исходный код и увидел, что есть поле с именем private final RunNotifier fNotifier; в org.junit.internal.runners.JUnit38ClassRunner, но я не уверен, как подключиться к этому или если я буду идти в правильном направлении.

Я использую JUnit 4.10, но я могу обновить при необходимости.

Answer 1

Это похоже на проблему XY для меня.

Файлы журнала не для тестирования. Они для мониторинга отладки. Если у вас есть неудачный тестовый пример, вам нужно переключиться с размышлений о тестировании на размышления об отладке. Это означает, что нужно запускать неудачные тестовые случаи по отдельности, возможно, используя отладчик.

Если ваши тесты проваливаются с бесполезными сообщениями о сбоях, это говорит о том, что у вас плохой охват тестами низкого уровня или диагностические сообщения из ваших тестовых случаев плохие.