Есть ли в DevOps Azure функциональность регрессионного теста?
Я работаю в небольшой команде, которая только что переехала в Azure Dev-Ops. Когда выходит новая сборка, мы не можем найти простой и удобный способ как запустить регрессионные тесты, так и получить полные исторические данные о планах тестирования, которые были выполнены. Я обеспокоен тем, что после использования Azure DevOps какое-то время может возникнуть проблема с обнаружением более старых тестовых прогонов.
До сих пор мы пытались создать большой набор тестов с папками наборов дополнительных тестов для различных областей функциональности. Каждый набор субтестов затем индивидуально запускается в Test-Runner. Проблема в том, что когда мы сбрасываем тесты и запускаем их снова, мы теряем исторические тестовые данные, и все тесты, которые не были завершены во время тестового прогона, пропадают, из-за чего создается впечатление, что более высокий процент тестовых случаев прошел / не прошел, Другая проблема заключается в том, что планы тестирования фрагментированы.
Еще одна опция, которую мы исследовали, - это добавление метки (вместо набора субтестов) в каждый тестовый пример. Это вызывает проблему при попытке запустить все тесты, так как кажется, что Test-Runner имеет ограничение не более 100 тестовых случаев одновременно. Кроме того, при запуске в режиме разделения имена тестовых прогонов неотличимы друг от друга, поскольку все они имеют одно и то же имя (из набора тестов).
Идеальным решением было бы что-то вроде TestRail (из которого мы только что переместились), когда случаи из набора тестов могут быть выбраны для прогона, а затем план тестирования сохраняется неопределенно долго. К сожалению, мы не можем вернуться к TestRail.
0 ответов
В документации Azure DevOps при создании плана тестирования они помещают план тестирования для определенного спринта.
Что вы можете сделать, так это создать путь к области регрессионного тестирования, содержащий нужные вам тесты, а затем каждый раз, когда вы хотите запустить регрессионный тест, вы можете добавить его в план тестирования, созданный в спринте.
Это действительно кажется немного запутанным, но по сути похоже на то, как это делается в TestRail, когда вы создаете тестовый прогон и выбираете, какие тесты вы хотите в прогоне. Это может быть своего рода переключением терминологии для создания плана тестирования для каждого спринта, но вы можете сделать это, а затем добавить, какие регрессионные тесты вы хотите запускать во время спринта, и таким образом вы не потеряете никаких исторических данных тестирования.