Есть ли способ не сообщать о повторном запуске неудачного тестового примера (в отчете экстента) как часть <rerunFailingTestsCount>

Окружающая среда - Огурец V. 4.0.0 | Селен V.3.8.1 | JUnit V.4.12 | Экстент Отчет 3.0/4.0 (любой)

Использование приведенной ниже конфигурации Surefire для повторного запуска неудачного контрольного примера. В случае, если тестовый случай потерпел неудачу, тогда у него была бы еще одна попытка, и скажем, тестовый пример был пройден во второй попытке.

    <plugin>
        <groupId>org.apache.maven.plugins</groupId>
        <artifactId>maven-surefire-plugin</artifactId>
        <version>${maven-surefire.plugin.version}</version>
        <configuration>
            <parallel>methods</parallel>
            <threadCount>1</threadCount>
            <reuserForks>false</reuserForks>
            <testErrorIgnore>true</testErrorIgnore>   
            <testFailureIgnore>true</testFailureIgnore>
            <includes>
                <include>**/*RunCukeTest.java</include>
            </includes>
            <rerunFailingTestsCount>1</rerunFailingTestsCount>
        </configuration>
    </plugin>

Как только сборка будет завершена, и если я проверю отчет Cucumber-Maven & Cluecumber, в них будут указаны детали только выполненной попытки, а не 1-й попытки, в которой контрольный пример не удался. Что звучит идеально. Но,

Когда я проверяю отчет об экстентах, я получаю детали обеих попыток (неудачно и успешно).

Может ли кто-нибудь направить меня на следующие 2 реализации -

1. Какую мысль я должен донести до отчета только о прохождении тестового примера (в отчете по экстентам) после того, как повторный запуск не удался как часть (с или без адаптера, любой будет работать), не хочу сообщать о неудачной попытке, если получен тестовый пример прошло с n-й попытки.

2. Иногда нам нужно было бы проанализировать, почему несколько тестовых примеров проходят во 2-й /3-й попытке. Таким образом, есть ли способ сообщить о неудачном тестировании в отдельном отчете после запуска повторного запуска, как часть

Любая мысль будет высоко оценена, поскольку она привнесет инновации в отчет, и мы получим лучший отчет с точки зрения анализа неудачных / пройденных тестовых примеров при повторном запуске неудачных тестовых примеров.

2 ответа

Решение

Насколько я помню, для повторного запуска теста TestNG инициализирует выполнение с нуля, что создает новый набор и, следовательно, новый отчет (заменяет существующие с новыми данными).

В текущей схеме это невозможно, но есть открытый билет для этого улучшения: github.com/extent-framework/extentreports-java/issues/25

Насколько я знаю, это было возможно с помощью @extendedcucumberoptions в 1.2.5, там можно было создать отдельный отчет для неудачных тестовых случаев, но это невозможно с 4.0.0 и далее.

Другие вопросы по тегам