Travis-CI с тестами grunt-contrib-jasmine дает ложноположительный результат
После интеграции с Travis-CI я заметил, что ложные срабатывания возможны, когда файл спецификации по какой-то причине выдает ошибку.
Все файлы выложены на Трэвис
Running "jshint:files" (jshint) task
Verifying property jshint.files exists in config...OK
Options: force=false, reporterOutput=null, jshintrc=".jshintrc", ignores=["bower_components/**"]
OK
>> 29 files lint free.
Но когда фантом запускается, одна из спецификаций не работает, и это происходит только в рамках travis. Я и другие коллеги могут оформить свежий репо и выполнить то же самое задание без помех.
Testing jasmine specs via phantom
>> Error: xhrFailed at
>> http:/localhost:8000/bower_components/dojo/dojo.js:301
>> http:/localhost:8000/bower_components/dojo/dojo.js:1509
>> http:/localhost:8000/bower_components/dojo/dojo.js:93
>> http:/localhost:8000/bower_components/dojo/dojo.js:728
>> http:/localhost:8000/bower_components/dojo/dojo.js:1247
>> http:/localhost:8000/bower_components/dojo/dojo.js:746
>> http:/localhost:8000/bower_components/dojo/dojo.js:791
>> http:/localhost:8000/bower_components/dojo/dojo.js:124
>> http:/localhost:8000/widgets/tests/spec/SpecSearch.js:379
Jasmine Runner Starting...
Эта ошибка проглатывается, остальные файлы спецификаций запускаются, и если они все проходят, Трэвис думает, что все хорошо.
Какими способами мы должны бороться с этим? В основном, все файлы спецификаций не будут загружаться или запускаться, но у нас есть сборка: проходящий образ. Я хочу иметь возможность доверять CI без необходимости смотреть на результаты.
Я могу провести 74 теста с ворчливым Тревисом локально, но при запуске на Тревисе он проходит с 55.