Получить два разных результата теста фантомов с форматом крана на одном URL

Question

Я использую phantomjs для тестирования своего сайта на Jenkins, и перепутал с полученным разным результатом TAP в двух сборках. Ничего не изменилось. Однако, результат Junit xml такой же, как мы ожидали.

Может кто-нибудь объяснить или помочь мне? Большое спасибо!

Это то, что я сравнил результат TAP.

3,4c3,4
< ok 1 B (82) overall score
< not ok 2 D (68) ynumreq: Make fewer HTTP requests
---
> not ok 1 C (78) overall score
> ok 2 B (80) ynumreq: Make fewer HTTP requests


24c21
<   message: There are 50 static components without a far-future expiration date.
---
>   message: There are 45 static components without a far-future expiration date.

77c69,81
< ok 6 A (100) ycompress: Compress components with gzip
---
> not ok 6 F (12) ycompress: Compress components with gzip

Answer 1

Когда вы говорите: "ничего не изменилось", возможно, где-то действительно есть разница.

Существует множество возможных причин, по которым вы можете каждый раз получать разные результаты для набора тестов на основе HTTP:

• Ваши тестовые случаи изменились между двумя запусками.
• Вы проводите тестирование на живом веб-сервере, содержание которого менялось между тестами.
• Вы проводите тестирование на работающем веб-сервере, контент которого еще не был полностью развернут к моменту, когда вы сделали первый тест, а на второй.
• Имя тестируемого живого URL-адреса разрешается для нескольких серверов, и подсистема балансировки нагрузки каждый раз отправляет вас на другой сервер, каждый с разным содержимым.
• В вашем тестовом клиенте происходит кэширование.
• Сервер обслуживает динамический контент, например, в зависимости от времени суток, IP-адреса клиента,...

Однако выходной файл JUnit XML может быть таким же, например, если вы не выполнили "чистую" сборку и не удалили XML-файл в начале сборки. Возможно, ваш инструмент тестирования затем отказывается писать новый XML-файл, если он уже существует.