Описание тега backpropagation
Backpropagation is a method of the gradient computation, often used in artificial neural networks to perform gradient descent.
0
ответов
В модели LSTM для задачи прогнозирования, как я могу получить обратное распространение во времени?
В правиле обучения LSTM я хотел бы вывести алгоритм BPTT. Но большая часть примера деривации, который я нашел, - это предполагаемая задача классификации, выходной функцией которой является softmax. Для типичной модели LSTM на этом рисунке: Термин де…
23 май '18 в 16:01
1
ответ
Имеет ли значение сигмовидная функция в нейронной сети?
Я пытаюсь построить нейронную сеть в Python, используя Keras с пользовательской потерей, и я бродил, является ли наличие сигмоидальной функции в качестве функции активации в последнем слое и наличие сигмоида в начале пользовательской потери одинаков…
21 фев '17 в 12:54
1
ответ
Оптическое распознавание символов
Я должен написать программу, которая способна распознавать шаблоны, особенно символы. Я реализовал обратное распространение в C#, и теперь я хочу использовать его для распознавания образов. Я также создал приложение формы и использовал кисть / графи…
05 янв '12 в 17:53
2
ответа
Нейронная сеть MNIST: обратное распространение верно, но точность обучения / теста очень низкая
Я строю нейронную сеть, чтобы научиться распознавать рукописные цифры из MNIST. Я подтвердил, что обратное распространение прекрасно рассчитывает градиенты (проверка градиента дает ошибку < 10 ^ -10). Похоже, что независимо от того, как я тренирую в…
01 авг '17 в 21:08
0
ответов
Почему бы не удалить 0.0 здесь?
downstream_delta = reduce( lambda ret, conn: ret + conn.downstream_node.delta * conn.weight, self.downstream, 0.0) Я хочу знать, почему существует 0.0. Здесь self.downstream представляет собой список, почему бы просто не удалить 0.0 и позволить эле…
02 авг '17 в 08:56
1
ответ
Функция активации искусственной нейронной сети
Я запрограммировал ANN с алгоритмом обратного распространения для прогнозирования количества клиентов с 3 слоями, 1 выходным нейроном, 3 скрытыми нейронами и 4 входными нейронами. поэтому мне нужен непрерывный выход. какие функции активации я должен…
16 фев '14 в 09:05
0
ответов
Как BPTT работает в LSTM? Как определяется усеченный временной лаг?
В LSTM, как BPTT перемещается по временному шагу? Это усеченный BPTT? Если так, как сеть знает, как определить временную задержку усечения?
22 июн '18 в 02:47
0
ответов
Требования к памяти для обратного распространения - почему бы не использовать среднее значение активации?
Мне нужна помощь в понимании требований к памяти нейронной сети и их различий между процессами обучения и оценки. В частности, требования к памяти для учебного процесса (я использую Keras API, работающий поверх TensorFlow). Для CNN, который содержит…
13 ноя '18 в 10:16
1
ответ
Следует ли мне избегать использования регуляризации L2 в сочетании с RMSProp?
Следует ли мне избегать использования регуляризации L2 в сочетании с RMSprop и NAG? Член регуляризации L2 вмешивается в алгоритм градиента (RMSprop)? С наилучшими пожеланиями,
23 фев '17 в 12:06
1
ответ
Может кто-нибудь сказать мне, что не так с этой реализацией обратного распространения
Поэтому я пытаюсь реализовать нейронную сеть обратного распространения в C#. И я наткнулся на сбой. При обучении сети все выходы либо 0,49???..., либо 0,51???... Вот мой класс сети namespace BackPropNetwork { public class Network { public double[][]…
12 апр '17 в 05:29
1
ответ
Какую "цель" я помещаю в набор данных iris nntool matlab?
Я новичок в использовании Matlab, так что это может быть легко. Я пытаюсь создать нейронную сеть набора данных радужной оболочки в Matlab, используя nntool(сеть обратного распространения с обратной связью). но я не могу узнать, какой должна быть цел…
29 янв '13 в 20:41
1
ответ
Nueral Network для линейной регрессии: каждый раз разные прогнозы
У меня есть 200 учебных примеров. Я выполнил линейную регрессию с 6 функциями в этом наборе данных, и он работает нормально, поэтому я хочу также запустить nueral networs на нем. Проблема: каждый раз, когда я запускаю программу, прогноз (пред) отлич…
20 апр '17 в 06:08
1
ответ
Простой алгоритм обратного распространения нейронной сети (Python)
Я пытаюсь понять обратное распространение, для этого я использую некоторый код на Python, но он не работает должным образом. Когда я тренируюсь с вводом-выводом xor, ошибка не сходится. Но если я изменю значение последнего вывода xor, оно сходится. …
23 апр '16 в 13:59
0
ответов
Моя нейронная сеть не работает [проблема XOR]
Я пытаюсь создать нейронную сеть для решения проблемы XOR. Но я не смог этого сделать. Всегда даю ложные результаты. Возможно, я ошибаюсь в вашей математике. Сеть не учится. Результат всегда одинаков. Я не использую BIAS. Note: execute function = (f…
04 ноя '18 в 18:32
0
ответов
(HotterColder-v0) Угадай число, используя градиенты и направленные производные
Мне было очень трудно решить OpenAi-среду HotterColder-v0. Цель игры состоит в том, чтобы эффективно использовать предоставленную награду, чтобы понять, какие действия лучше всего предпринять. После каждого шага агент получает наблюдение: 0 - догадк…
24 фев '19 в 00:54
5
ответов
Невозможно найти операцию на месте: одна из переменных, необходимых для вычисления градиента, была изменена с помощью операции на месте
Я пытаюсь вычислить потери на якобиане сети (т.е. выполнить двойной backprop), и я получаю следующую ошибку: RuntimeError: одна из переменных, необходимых для вычисления градиента, была изменена операцией на месте Я не могу найти операцию inplace в …
09 дек '18 в 09:57
0
ответов
Обратное распространение делает вывод в среднем до 0,5
У меня есть модель нейронной сети, над которой я работаю в Python. Обратное распространение, похоже, не работает, и я некоторое время возился с этим. Через кучу тренировок результат будет в среднем до 0,5 даже при наличии адекватных данных. Вот код …
10 дек '18 в 08:34
1
ответ
Масштабирование обратного распространения
Я следую этому уроку по NN и обратному распространению. Я новичок в Python, и я пытаюсь преобразовать код в MATLAB. Может кто-нибудь любезно объяснить следующую строку кода (из учебника): delta3[range(num_examples), y] -= 1 Короче, и если я не ошиба…
14 янв '17 в 18:28
0
ответов
Нейронная сеть обратного распространения плохо учится
Я борюсь с моей реализацией обучения обратному распространению. Единственное, что сети удается хорошо изучить - это ИЛИ с сетью 2-2-1. Он не может изучить все другие логические функции, оставаясь с большой ошибкой L2. Иногда (как в моем линейном при…
06 сен '15 в 11:57
1
ответ
Расчет ошибки при обратном распространении (градиентный спуск)
Может кто-нибудь дать объяснение по поводу вычисления ошибки в обратном распространении, которое встречается во многих примерах кода, таких как: error=calculated-target // then calculate error with respect to each parameter... Это то же самое для кв…
27 июл '17 в 06:07