Являются ли Recurrent Neural Networks цепочкой нейронных сетей?

Question

Я спрашиваю, являются ли Рекуррентные Нейронные Сети цепочкой Нейронных Сетей.

Теперь интуитивно RNN - это нейронная сеть с петлей обратной связи от прошлых выходов и в зависимости от реализации петля обратной связи от скрытых слоев к скрытому слою и / или входам следующей временной метки.

Исключая реализацию, в которой он связывает скрытые слои, отличается ли эта реализация от цепочки нейронных сетей?

Я думаю, исходя из моего понимания, что подобная реализация может быть построена из цепочки нейронных сетей, где каждый вход NN представляет собой временную метку заданных данных + выходные данные последней временной метки.

Знаете ли вы, если эта интуиция верна? Или есть какие-то различия в RNN и ANN, которые мне не хватает?

Я также спросил своего профессора, который специализируется на машинном обучении, этот вопрос, и если кому-то будет любопытно, я смогу посмотреть, смогу ли я опубликовать его ответ, как только получу его.

Answer 1

Есть две важные модификации / различия:

1. Вы должны поделиться параметрами своей "цепочки нейронных сетей", чтобы она работала как рекуррентная нейронная сеть.
2. Ваше "разворачивание" растет со временем - это означает, что на первой итерации ваша "цепочка" имеет длину 1. Во второй - длину 2, после N шагов - длину N.

Если вы не возражаете против этих двух различий, развернутая модель - это почти то же самое, что и текущая сеть. Учитывая тот факт, что вы храните все необходимые данные в некотором буфере (поскольку вам понадобятся "устаревшие" выходные данные / метки и т. Д. Во время обновлений).

Answer 2

У большинства новичков в нейронной сети есть предположение, что нейронную сеть можно обсудить на чистом теоретическом уровне в окрестностях A* pathplanning, программирования на C++ и Turing-Maschines. Это совершенно неправильно, нейронная сеть - это тема биологической нейробиологии, и она использует интерфейсы мозг-компьютер. Специалисты по компьютерам не дают определения, что такое нейронные сети и какой тип лучше, оно исходит из исследований с экспериментами на животных (обезьяны, крысы) и потребностей медицинских исследований для протезирования на людях.

Конкретная статья, которая может ответить на вопрос, что такое рекуррентная нейронная сеть и каковы ее пределы: рекуррентная нейронная сеть для внутрикортикальных декодеров интерфейса мозга с замкнутым контуром. Сеть выступает в качестве BCI для интерпретации мозга обезьян. С другой стороны: если в цикле нет биологической формы жизни, нет смысла использовать нейронную сеть вообще.

Я знаю, что это всего лишь косвенный ответ ОП, но мое веское оправдание заключается в том, что большинство статей на pubmed.gov недоступны в качестве OpenAccess, поэтому дальнейшее исследование остается открытым.