Android CTS - случайный тест не пройден

Question

Android CTS - случайный тест не пройден

Когда я запускаю полный тест Android CTS с помощью команды ниже

run cts --plan CTS

Каждый раз, когда он показывает разные результаты для некоторых пакетов, я имею в виду, что для некоторых пакетов некоторые тесты проходят / не проходят случайно каждый раз, когда я повторно запускаю полный тест. Но когда я запускаю пакет по отдельности (пакет, в котором некоторые тесты не пройдены), все тесты проходят в нем.

Почему я вижу это поведение?

Среда: ОС: Android L CTS версия: 5.1_r7

2

android android-cts

Источник

user2007944 24 май '16 в 06:02

1 ответ

Другие вопросы по тегам android android-cts

user3387640 24 май '16 в 07:59 2016-05-24 07:59 · Answer 1 · 2016-05-24 07:59

Иногда случается, что какой-то тест не удался случайным образом, потому что какое-то время это условие теста выполняется некоторое время, а некоторое время из-за тайм-аута может не пройти.

0

Источник

user3387640 24 май '16 в 07:59

user10742465 05 дек '18 в 06:47 2018-12-05 06:47 · Answer 2 · 2018-12-05 06:47

Некоторые cts-тесты включают определенные тайм-ауты, установленные для какого-либо события. Например, если вы запускаете тест cts, связанный с вызовами данных, такими как выключение / включение мобильных данных и тайм-аут для подключения мобильных данных, равным 10 секундам, то какое-то время этот тест пройдет, а иногда не пройдёт. В этом случае увеличение этого тайм-аута решит эту проблему.

Что касается вопроса о сбое тестового примера при запуске нескольких пакетов, может существовать вероятность того, что тестовый пример до сбоя не установил устройство в нейтральное / исходное состояние для следующего теста. Рекомендуется отменить все изменения, внесенные во время теста, при выходе из теста.