Контролируемое обучение (классификация документов) с использованием методов глубокого обучения
Я читал документы о глубоком обучении. Большинство из них относятся к обучению без учителя.
Они также говорят, что нейроны предварительно обучены с использованием неконтролируемой сети RBM. Позже они точно настраиваются с использованием алгоритма обратного распространения (под наблюдением).
Так можем ли мы решить проблемы обучения под наблюдением, используя глубокое обучение?
Я пытаюсь выяснить, можно ли применить глубокое обучение к проблеме классификации документов. Я знаю, что есть довольно хорошие классификаторы. Но моя цель - выяснить, можем ли мы использовать глубокое обучение для этой цели или нет.
7 ответов
Короче говоря - да, это может быть, и часто используется под наблюдением. Точно так, как описал Бен Дж. "Глубина" архитектуры используется в otder неконтролируемым образом для создания очень абстрактного представления ваших данных, которое впоследствии можно использовать либо как слой предварительной обработки (без тонкой настройки), либо как инициализацию для нейронной сети (с тонкой настройкой, Hinton-like). В частности, вы можете использовать такой подход для текстов.
Есть интересная совсем недавно статья Хинтона, касающаяся моделирования текстовых документов с помощью DBM: http://www.cs.toronto.edu/~rsalakhu/papers/uai13.pdf
В сети доступно много ресурсов, в частности, библиотека pylearn реализует такие подходы, включая "классическую" DBN (Deep Beiief Network) http://deeplearning.net/tutorial/DBN.html
Кроме того, также возможно фактически выполнить классификацию, используя только уложенные RBM, эта модель называется "классификационная RBM". Более подробную информацию можно получить здесь: http://machinelearning.org/archive/icml2008/papers/601.pdf
Глубокое обучение подразумевает изучение неизвестных понятий, поэтому обычно используется с точки зрения поиска шаблонов в наборах данных. Это не контролируется, так как эти шаблоны не обязательно известны априори. Однако в контролируемом обучении тип шаблона, который вам требуется, легко априори легко понять в форме шаблонов обучения, которые соответствуют данным, которые вы пытаетесь изучить. Эти шаблоны становятся основой для подгонки вашей модели (например, нейронной сети, обученной обратному распространению) к вашим данным. Там нет истинного открытия новых концепций и компонентов. Таким образом, с этой точки зрения, я бы сказал, что нет, глубокое обучение не может быть применено к решению контролируемых проблем обучения.
Сказав это, вы можете использовать его для поиска интересных шаблонов в ваших данных. Затем вы можете использовать эти интересные шаблоны в качестве основы для обучения с использованием стандартного подхода под наблюдением. Возможно, это то, что они сделали выше, где вы упоминаете
"Они также говорят, что нейроны предварительно обучены с использованием неконтролируемой сети RBM. Позже они точно настраиваются с использованием алгоритма обратного распространения (под наблюдением)".
Не прочитав то, что вы прочитали, возможно, они начали с неконтролируемого алгоритма, чтобы найти наиболее интересные данные, и при этом выполнили форму уменьшения размерности, что привело к получению данных, которые было легче обрабатывать, чем исходные данные, используя контролируемый алгоритм.
Абсолютно да, вы можете использовать глубокое обучение как для обучения с учителем, так и для обучения без учителя. Например, известная сеть с именем CNN используется для обучения без учителя. Возможно, вам нужно что-то фундаментально изучить о интеллектуальном анализе текста, чтобы понять модель глубокого обучения, которая классифицирует документы. Я нашел эту ссылку интересной, я надеюсь, что она вам тоже поможет:https://machinelearningmastery.com/best-practices-document-classification-deep-learning/
Помимо хорошей ссылки, приведенной выше, есть еще одна статья группы Янна Ле Канна, которая выполняет классификацию текста, просто кодируя символы без использования какой-либо внешней библиотеки извлечения признаков. Это работает просто путем кодирования на уровне символов. Они требуют 98% точности.
Да, определенно. На самом деле в отрасли глубокое обучение в основном используется для решения контролируемых задач. УОКР и подобные неконтролируемые вещи широко не применяются вне академического круга. Чтобы узнать больше о глубоком обучении с контролируемым обучением, вы можете прочитать статьи после 2012 года, начиная с всего, что связано с ImageNet Challenge.
Это основные вехи глубоких нейронных сетей:
Да Глубокое обучение можно использовать для контролируемого обучения. но я думаю, что вы пытаетесь понять, это автоматическое извлечение признаков, которое происходит внутри нейронной сети, что делает глубокое обучение уникальным, в отличие от любой другой модели машинного обучения, которая требует ручного извлечения человеческих признаков
Поскольку в основе глубокого обучения лежит нейрон, мы просто контролируем алгоритмы, такие как логистическая регрессия в нейроне, и это означает, ДА.