Разница между базовой линией и эталоном в производительности приложения
Что такое базовый уровень и что такое контрольный показатель? Каково лучшее определение для них и как вы определяете набор чисел и сравниваете другой набор?
4 ответа
HI Gagneet, я работаю в команде по производительности Windows: вот как мы используем эти термины.
Базовая линия - это измерение известной конфигурации, которое используется в качестве эталона для последующих измерений. Для базовой линии мы характеризуем измеряемую вещь: например, давайте возьмем время холодной загрузки. Здесь у нас есть набор машин, которые хорошо охарактеризованы - это означает, что мы знаем, как они работают, что у нас есть хорошие драйверы для них, и что оборудование не сломано и не испорчено.
На этом оборудовании у нас есть несколько измерений "базовой линии", таких как XP-RTM, XP-SP2, Vista-RTM, Vista-SP1, Vista-SP2 и т. Д. И т. Д.
Для каждой из этих базовых линий у нас есть набор хорошо охарактеризованных и понятных измерений, включая все фазы загрузки, объем использования процессора, дисков и памяти, количество загрузок DLL и т. Д. И т. Д.
После определения базовой линии мы можем выполнить другие измерения и сравнить их с базовой линией. Например, в настоящее время мы работаем над Window-7. Для каждой сборки (ежедневно) мы запускаем набор тестов времени загрузки. Мы сравниваем все характеристики каждой сборки Win-7 с измерениями базовой линии. Это включает в себя все предыдущие сборки Win-7. Это позволяет нам увидеть, в чем заключаются различия, и помогает детализировать проблемные области. Вот еще несколько деталей.
Интересные определения из SPR (Software Productivity Research)
Исходный уровень и контрольный показатель - это схожие, но разные виды деятельности
Образно говоря, базовая линия - это "линия в песке" для организации, посредством которой она измеряет важные характеристики производительности для будущего использования.
Это не обязательно "хорошее" состояние ", просто ссылка.
Ориентир лучше всего понять с помощью оригинального происхождения самого слова:
Торговцы, выполняющие повторяющиеся задачи, такие как распиловка пиломатериалов на одинаковую длину, часто размещают надрезы на своих верстаках, чтобы указать размещение досок перед резкой. Буквально эталон стал стандартом для сравнения и показателем прошлого успеха.
В принципе:
- базовый уровень - это идентификация значимого состояния, что означает, что ваш набор номеров соответствует статусу одобрения, общепризнанному.
- эталонный тест - это оценка относительной производительности приложения.
В научных исследованиях эталонный тест является своего рода тестом, а базовый уровень - своего рода результатом.
Давайте рассмотрим пример теста: мы могли бы взять набор из 5000 предложений на английском языке и использовать лабораторный четырехъядерный компьютер Dell для перевода их на испанский язык с использованием различных алгоритмов. Поскольку мы сохранили данные и машинную константу, мы можем существенно сравнить время, затрачиваемое различными алгоритмами на выполнение задачи, а также их относительную точность (измеренную по сравнению с человеческими переводами по золотому стандарту).
Чтобы найти основу для этого теста, мы могли бы написать очень наивный алгоритм перевода, который просто находит наиболее общий перевод для каждого отдельного слова без учета контекста. Измерение точности этого алгоритма в сравнении с нашими человеческими переводами дает нам представление о минимальной оценке - базовой линии - которую должны побить другие, и дает нам представление о том, какой уровень точности считается "хорошим".
На другом конце шкалы от базовой линии верхняя граница также является полезным критерием. В примере перевода мы могли бы найти верхнюю границу, измерив точность одного из наших человеческих переводов по отношению к другим. Это дает нам представление о том, насколько высока оценка нашей "точности", прежде чем вы достигнете предела человеческих разногласий. Мы ожидаем, что наши алгоритмы машинного перевода будут работать на уровне между базовой линией и верхней границей.
Поправьте меня, если я ошибаюсь, но я считаю, что "базовый уровень" относится к известному хорошему состоянию, а "эталонный" относится к текущему состоянию. Вы должны сделать тест и сравнить его с базовой линией.