Как себя ведет тестовая среда, когда мы добавляем новый тестовый пример в середине существующих тестовых случаев?
У меня есть вопросы по инфраструктуре автоматизации. Предположим, у меня 1000 тестовых случаев. Я добавляю новый контрольный пример в середине.
например, у меня есть 1000 тестовых случаев. Я добавляю тестовый пример в середине (501-й). С какими проблемами я могу столкнуться в рамках?
- Я ожидаю, что это может нарушить порядок выполнения, если все 1000 TC имеют некоторые зависимости между собой. Помимо этой проблемы, я не могу выяснить любые другие возможные проблемы, пожалуйста, помогите мне определить проблемы, которые могут вызвать проблемы при выполнении всех TC здесь.
1 ответ
Вы никогда не должны полагаться на порядок выполнения тестовых случаев.
Обратите внимание, что JUnit не выполняет тестовые случаи в объявленном порядке - если вы не используете аннотацию @FixMethodOrder(MethodSorters.NAME_ASCENDING), Ни один не делает testNG по умолчанию. Следовательно, не имеет значения, в какой позиции вы добавляете новый контрольный пример.
Помимо измененного порядка выполнения, вы можете столкнуться с побочными эффектами, если вы
- изменить статические переменные, которые также используются в других тестах
- изменить данные в базе данных
- создавать, изменять или удалять файлы
- тесные соединения, которые также используются другими тестовыми примерами