Есть ли способ не сообщать о повторном запуске неудачного тестового примера (в отчете экстента) как часть <rerunFailingTestsCount>
Окружающая среда - Огурец V. 4.0.0 | Селен V.3.8.1 | JUnit V.4.12 | Экстент Отчет 3.0/4.0 (любой)
Использование приведенной ниже конфигурации Surefire для повторного запуска неудачного контрольного примера. В случае, если тестовый случай потерпел неудачу, тогда у него была бы еще одна попытка, и скажем, тестовый пример был пройден во второй попытке.
<plugin>
<groupId>org.apache.maven.plugins</groupId>
<artifactId>maven-surefire-plugin</artifactId>
<version>${maven-surefire.plugin.version}</version>
<configuration>
<parallel>methods</parallel>
<threadCount>1</threadCount>
<reuserForks>false</reuserForks>
<testErrorIgnore>true</testErrorIgnore>
<testFailureIgnore>true</testFailureIgnore>
<includes>
<include>**/*RunCukeTest.java</include>
</includes>
<rerunFailingTestsCount>1</rerunFailingTestsCount>
</configuration>
</plugin>
Как только сборка будет завершена, и если я проверю отчет Cucumber-Maven & Cluecumber, в них будут указаны детали только выполненной попытки, а не 1-й попытки, в которой контрольный пример не удался. Что звучит идеально. Но,
Когда я проверяю отчет об экстентах, я получаю детали обеих попыток (неудачно и успешно).
Может ли кто-нибудь направить меня на следующие 2 реализации -
1. Какую мысль я должен донести до отчета только о прохождении тестового примера (в отчете по экстентам) после того, как повторный запуск не удался как часть (с или без адаптера, любой будет работать), не хочу сообщать о неудачной попытке, если получен тестовый пример прошло с n-й попытки.
2. Иногда нам нужно было бы проанализировать, почему несколько тестовых примеров проходят во 2-й /3-й попытке. Таким образом, есть ли способ сообщить о неудачном тестировании в отдельном отчете после запуска повторного запуска, как часть
Любая мысль будет высоко оценена, поскольку она привнесет инновации в отчет, и мы получим лучший отчет с точки зрения анализа неудачных / пройденных тестовых примеров при повторном запуске неудачных тестовых примеров.
2 ответа
Насколько я помню, для повторного запуска теста TestNG инициализирует выполнение с нуля, что создает новый набор и, следовательно, новый отчет (заменяет существующие с новыми данными).
В текущей схеме это невозможно, но есть открытый билет для этого улучшения: github.com/extent-framework/extentreports-java/issues/25
Насколько я знаю, это было возможно с помощью @extendedcucumberoptions в 1.2.5, там можно было создать отдельный отчет для неудачных тестовых случаев, но это невозможно с 4.0.0 и далее.