Отчет о результатах теста через VSTS API
Я пытаюсь создать тестовый запуск на основе плана с несколькими наборами и тестовыми примерами, уже созданными с помощью предоставленных клиентов C#.
В частности, наш план тестирования включает около 7 тыс. Тестовых случаев с 6 конфигурациями, что дает 40 тыс. + Тестовых точек. При создании прогона единственная опция, которую я нашел, это включить список ВСЕХ точек, которые мы хотим включить, так что все 40 КБ в одном запросе. Кажется, нет другого способа обновить список пунктов позже. Это приводит к тому, что запрос занимает слишком много времени и время ожидания истекает (хотя в конечном итоге он завершается на стороне сервера)
Итак, мой вопрос: есть ли способ создать тестовый прогон, основанный непосредственно на плане, поскольку вся необходимая информация уже находится на сервере? Кажется бессмысленным требовать от пользователя отправки всего набора баллов.
Вторая проблема, с которой мы сталкиваемся, - это эффективная отчетность о результатах испытаний. Давайте предположим, что мы используем 150 агентов, которые распространяют тесты и запускают их, и все они отчитываются под одним прогоном. Насколько я понимаю, для загрузки результатов нам нужен идентификатор результата теста, который создается одновременно с прогоном (поэтому до этого он не может быть жестко задан). Это оставляет нам возможность получать ВЕСЬ список результатов из прогона (поскольку он не предлагает фильтрации для конкретной конфигурации, по крайней мере), отбрасывать те, к которым у нас нет результатов, и загружать остальные. Так как GetTestResultsAsync возвращает только 1000 результатов одновременно, нам нужно выполнить 40 запросов на одного агента, поэтому потенциально 6000 одновременных запросов (с учетом всех агентов).
Оба приведенных выше сценария очень неэффективны и могут привести к тому, что мы ограничимся vsts, в дополнение к длительному времени выполнения. Есть ли у вас какие-либо предложения о том, как мы можем лучше подойти к проблеме?
Спасибо