Может ли кто-нибудь привести реальный пример контролируемого обучения и обучения без учителя?
Недавно я изучал обучение под наблюдением и обучение без учителя. Из теории я знаю, что контролируемый означает получение информации из помеченных наборов данных, а неконтролируемый означает кластеризацию данных без каких-либо меток.
Но проблема в том, что я всегда путаюсь, чтобы определить, является ли данный пример обучением под наблюдением или обучением без присмотра во время учебы.
Кто-нибудь может привести пример из жизни?
6 ответов
Контролируемое обучение:
- вы получаете кучу фотографий с информацией, что на них, и вы обучаете модель распознавать новые фотографии
- у вас есть куча молекул и информации, которые являются наркотиками, и вы обучаете модель, чтобы ответить, является ли новая молекула также наркотиком
Обучение без учителя:
- у вас есть куча фотографий из 6 человек, но без информации, кто на каком из них, и вы хотите разделить этот набор данных на 6 стопок, каждая с фотографиями одного человека
- у вас есть молекулы, часть из них - наркотики, а часть - нет, но вы не знаете, какие есть, и вам нужен алгоритм для обнаружения наркотиков.
Контролируемое обучение:
- это как учиться с учителем
- учебный набор данных, как учитель
- обучающий набор данных используется для тренировки машины
Пример:
Классификация: Машина обучена классифицировать что-то в некоторый класс.
- классифицирует, есть ли у пациента заболевание или нет
- классифицировать, является ли электронная почта спамом или нет
Регрессия: Машина обучена прогнозировать некоторые значения, такие как цена, вес или рост.
- прогнозирование цены дома / недвижимости
- прогнозирование рыночной цены акций
Обучение без учителя:
- это как учиться без учителя
- машина учится через наблюдение и находит структуры в данных
Пример:
Кластеризация: проблема кластеризации - это то, где вы хотите обнаружить врожденные группировки в данных
- такие как группировка клиентов по покупательскому поведению
Ассоциация: проблема изучения правил ассоциации - это то, где вы хотите найти правила, которые описывают большие части ваших данных
- такие как люди, которые покупают X, также склонны покупать Y
Подробнее: Алгоритмы машинного обучения под надзором и без присмотра
Контролируемое обучение
Это просто, и вы бы сделали это несколько раз, например:
- Cortana или любая речевая автоматизированная система в вашем мобильном телефоне тренирует ваш голос и затем начинает работать на основе этого тренинга.
- Основываясь на различных особенностях (прошлый рекорд лицом к лицу, подача, бросок, игрок-против-игрока), WASP прогнозирует процент побед обеих команд.
- Обучите свой почерк системе OCR, и после обучения он сможет преобразовать ваши рукописные изображения в текст (очевидно, до некоторой точности)
- Основываясь на некоторых предшествующих знаниях (когда солнечно, температура выше; облачно, влажность выше и т. Д.), Погодные приложения прогнозируют параметры на данный момент времени.
На основе прошлой информации о спаме, фильтрации новой входящей электронной почты в папку "Входящие" (обычная) или папку " Спам" (спам)
Системы биометрической посещаемости или банкоматов и т. Д., Где вы обучаете машину после нескольких входов (вашей биометрической идентичности - будь то большой палец, радужная оболочка или мочка уха и т. Д.), Машина может подтвердить ваши будущие данные и идентифицировать вас.
Обучение без учителя
Друг приглашает вас на свою вечеринку, где вы встречаете совершенно незнакомых людей. Теперь вы классифицируете их, используя обучение без контроля (без предварительных знаний), и эта классификация может быть основана на полу, возрастной группе, одежде, образовательной квалификации или как угодно. Почему это обучение отличается от контролируемого обучения? Так как вы не использовали прошлые / предыдущие знания о людях и классифицировали их "на ходу".
НАСА обнаруживает новые небесные тела и находит их отличными от ранее известных астрономических объектов - звезд, планет, астероидов, черных дыр и т. Д. (Т. Е. Оно не знает об этих новых телах) и классифицирует их так, как им хотелось бы (расстояние от Млечного пути, интенсивность, гравитационная сила, красное / синее смещение или что-то еще)
Предположим, вы никогда раньше не видели матч по крикету и случайно посмотрели видео в интернете, теперь вы можете классифицировать игроков по разным критериям: игроки с одинаковыми наборами находятся в одном классе, игроки одного стиля - в одном классе (игроки с битой, боулер, полевые игроки), или на основе игры рукой (RH против LH) или любым другим способом, которым вы наблюдаете [и классифицируете] это.
Мы проводим опрос из 500 вопросов о прогнозировании уровня IQ студентов в колледже. Поскольку этот вопросник слишком большой, поэтому после 100 учеников администрация решает сократить вопросник до меньшего количества вопросов, и для него мы используем некоторую статистическую процедуру, такую как PCA, чтобы урезать ее.
Я надеюсь, что эти несколько примеров объясняют разницу в деталях.
Контролируемое обучение имеет ввод и правильный вывод. Например: у нас есть данные, понравился ли фильм человеку или нет. На основе опроса людей и сбора их ответов, нравится ли им фильм или нет, мы собираемся предсказать, будет ли фильм снят или нет.
Давайте посмотрим на картинку в ссылке выше. Я посетил рестораны, отмеченные красным кружком. Рестораны, которые я не посещал, отмечены синим кружком.
Теперь, если у меня есть два ресторана на выбор, A и B, помеченные зеленым цветом, какой из них я выберу?
Просто. Мы можем классифицировать данные линейно на две части. Это означает, что мы можем нарисовать линию, разделяющую красный и синий круг. Посмотрите на картинку в ссылке ниже:
Теперь мы можем с некоторой уверенностью сказать, что шансы на мое посещение B больше, чем A. Это случай контролируемого обучения.
Неконтролируемое обучение имеет вклад. Предположим, у нас есть водитель такси, который может принять или отклонить заказы. Мы наметили его принятое местоположение бронирования на карте с синим кружком и показано ниже:
Теперь водитель такси получил два заказа A и B; Кого он примет? Если мы наблюдаем за сюжетом, мы можем видеть, что его принятое бронирование показывает кластер в левом нижнем углу. Это может быть показано на картинке ниже:
Контролируемое обучение
Контролируемое обучение довольно часто встречается в задачах классификации, потому что часто целью является заставить компьютер изучить созданную нами систему классификации. Распознавание цифр, опять же, является распространенным примером обучения классификации. В более общем смысле, классификационное обучение подходит для любой проблемы, когда вывод классификации полезен и классификацию легко определить. В некоторых случаях может даже не потребоваться давать заранее определенные классификации для каждого случая проблемы, если агент может разработать классификации для себя. Это было бы примером обучения без присмотра в контексте классификации.
Контролируемое обучение является наиболее распространенным методом обучения нейронных сетей и деревьев решений. Оба эти метода в значительной степени зависят от информации, предоставленной заранее определенными классификациями. В случае нейронных сетей классификация используется для определения ошибки сети, а затем корректирует сеть для ее минимизации, а в деревьях решений классификации используются для определения того, какие атрибуты предоставляют наибольшую информацию, которую можно использовать для решения загадка классификации. Мы рассмотрим оба из них более подробно, но на данный момент должно быть достаточно знать, что оба из этих примеров процветают, имея некоторый "надзор" в форме заранее определенных классификаций.
Распознавание речи с использованием скрытых моделей Маркова и байесовских сетей основывается также на некоторых элементах контроля, чтобы настроить параметры, чтобы, как обычно, минимизировать ошибку на заданных входах.
Обратите внимание на кое-что важное здесь: в задаче классификации цель алгоритма обучения состоит в том, чтобы минимизировать ошибку по отношению к заданным входным данным. Эти входные данные, часто называемые "обучающим набором", являются примерами, из которых агент пытается извлечь уроки. Но хорошо изучать тренировочный набор не обязательно лучше всего. Например, если я попытался научить вас исключающему-или, но показал только комбинации, состоящие из одного истинного и одного ложного, но никогда не обоих ложных или обоих истинных, вы могли бы выучить правило, согласно которому ответ всегда верен. Точно так же с алгоритмами машинного обучения общей проблемой является чрезмерная подгонка данных и, по существу, запоминание обучающего набора, а не изучение более общей техники классификации.
Обучение без учителя
Обучение без присмотра кажется намного сложнее: цель - научить компьютер делать то, что мы не говорим, как делать! На самом деле есть два подхода к обучению без учителя. Первый подход состоит в том, чтобы обучить агента не путем явной категоризации, а с помощью некоторой системы вознаграждений, указывающей на успех. Обратите внимание, что этот тип обучения, как правило, вписывается в структуру решения проблемы, потому что цель состоит не в том, чтобы создать классификацию, а принять решения, которые максимизируют вознаграждение. Этот подход хорошо обобщает реальный мир, где агенты могут быть вознаграждены за выполнение определенных действий и наказаны за выполнение других.
Зачастую форма обучения с подкреплением может использоваться для обучения без присмотра, когда агент основывает свои действия на предыдущих наградах и наказаниях, не обязательно даже узнавая какую-либо информацию о том, как его действия влияют на мир. В некотором смысле, вся эта информация не нужна, потому что, изучая функцию вознаграждения, агент просто знает, что делать без какой-либо обработки, потому что он знает точное вознаграждение, которое он ожидает получить за каждое действие, которое он может предпринять. Это может быть чрезвычайно полезным в тех случаях, когда вычисление каждой возможности занимает очень много времени (даже если известны все вероятности перехода между состояниями мира). С другой стороны, обучение методом проб и ошибок может занять очень много времени.
Но этот вид обучения может быть мощным, потому что он не предполагает заранее обнаруженной классификации примеров. Например, в некоторых случаях наши классификации могут быть не самыми лучшими. Одним из поразительных примеров является то, что общепринятые представления об игре в нарды перевернулись с ног на голову, когда серия компьютерных программ (нейро-гамм и TD-гамм), которые обучались в процессе обучения без присмотра, стали сильнее, чем лучшие шахматисты, просто играя сами вновь и вновь. Эти программы обнаружили некоторые принципы, которые удивили экспертов по нардам и показали лучшие результаты, чем программы по нардам, подготовленные на предварительно классифицированных примерах.
Второй тип обучения без учителя называется кластеризацией. В этом типе обучения цель состоит не в том, чтобы максимизировать функцию полезности, а просто в том, чтобы найти сходство в данных обучения. Часто предполагается, что обнаруженные кластеры будут достаточно хорошо соответствовать интуитивной классификации. Например, кластеризация индивидов на основе демографии может привести к кластеризации богатых в одной группе и бедных в другой.
Контролируемое обучение: в простых терминах у вас есть определенные входные данные и вы ожидаете определенных результатов. Например, у вас есть данные о фондовом рынке, которые являются предыдущими данными, и вы можете получить результаты текущего ввода в течение следующих нескольких лет, дав некоторые инструкции, которые могут дать вам необходимый результат.
Обучение без присмотра: у вас есть такие параметры, как цвет, тип, размер чего-либо, и вы хотите, чтобы программа предсказывала, что это фрукт, растение, животное или что-то еще, это то, с чем приходит Supervised. входы.