Описание тега relu

Вопросы с тегом

ReLu - это аббревиатура от Rectified Linear Unit из ветви нейронных сетей.

2 ответа

Реализация функции ReLU на C++

Я на самом деле работаю над CNN, я использую Sigmoid для функции активации, но я хотел бы использовать ReLU. Я реализовал код для ReLU с использованием Eigen, но он не работает, не могли бы вы мне помочь, пожалуйста? Вот мой код: Matrix ReLu(const M…

c++ relu

06 июл '18 в 11:39

5 ответов

Как реализовать утечку с помощью функций Numpy

Я пытаюсь реализовать утечку Relu, проблема в том, что мне нужно сделать 4 цикла для 4-х мерного массива ввода. Есть ли способ, которым я могу сделать течь, только с помощью функций Numpy?

numpy activation-function relu

24 май '18 в 20:20

1 ответ

Когда ReLU убивает нейроны?

Я запутался в связи с проблемой умирающего ReLU. ReLU убьет нейрон только во время прямого прохода? Или также во время обратного прохода?

deep-learning activation-function relu

15 май '18 в 11:35

0 ответов

Невозможно использовать активацию relu в IndyLSTMCell в TensorFlow 1.10

Я попробовал IndyLSTMCell в TensorFlow 1.10. Он работает с активацией по умолчанию (tanh), но не работает с nn_ops.relu. Когда я установил активацию на relu, потеря стала NAN. IndyGRUCell имеет ту же проблему. Активация relu работает с IndRNNCell, о…

python tensorflow rnn relu

28 авг '18 в 13:19

1 ответ

Частотная область Relu: Как вычислить сумму дираков, где значения пространственной области положительны?

Я пытаюсь реализовать частотную область ReLu, как подробно описано в: http://cs231n.stanford.edu/reports/2015/pdfs/tema8_final.pdf Формула, которая меня смущает, приведена в левом нижнем углу страницы 4. Я не уверен, что правильно вычисляю сумму БПФ…

python fft relu

06 май '18 в 02:53

1 ответ

Почему ReLU является нелинейной функцией активации?

Насколько я понимаю, в глубокой нейронной сети мы используем функцию активации (g) после применения весов (w) и смещения (b) (z := w * X + b | a := g(z)), Так что есть композиционная функция (g o z) и функция активации позволяет нашей модели изучать…

machine-learning deep-learning neural-network activation-function relu

21 сен '18 в 15:20

1 ответ

ReLU производная с NumPy

import numpy as np def relu(z): return np.maximum(0,z) def d_relu(z): z[z>0]=1 z[z<=0]=0 return z x=np.array([5,1,-4,0]) y=relu(x) z=d_relu(y) print("y = {}".format(y)) print("z = {}".format(z)) Код выше распечатывает: y = [1 1 0 0] z = [1 1 0…

python arrays numpy activation-function relu

01 май '18 в 18:32

1 ответ

Тензор потока в наборе данных не MNIST, softmax Relu softmax. Почему точность прогноза низкая?

Извините, если это наивный вопрос. Это моя первая попытка использования тензорного потока. Я использую это после попытки numpy на наборе данных не-MNIST как часть курса Udacity. Теперь, это код, который я написал. Тем не менее, это дает мне точность…

tensorflow machine-learning softmax relu

05 июн '18 в 13:35

3 ответа

Core ML coremltools AttributeError: модуль 'keras.applications.mobilenet' не имеет атрибута 'relu6'

Мы пытаемся преобразовать модель.h5 Keras в модель.ml model, мой код выглядит следующим образом: from keras.models import load_model import keras from keras.applications import MobileNet from keras.layers import DepthwiseConv2D from keras.utils.gene…

keras coremltools relu

10 окт '18 в 10:13

0 ответов

Может ли ReLU заменить функцию активации сигмоида в нейронной сети?

Я новичок в этом, и я пытаюсь заменить функцию активации сигмоида в следующем простом NN на ReLU. Могу ли я сделать это? Я попытался заменить сигмовидную функцию, но она не работает. Выходом должен быть логический элемент И (если вход (0,0)-> выход …

python neural-network sigmoid relu

12 ноя '18 в 10:22

0 ответов

Зачем использовать ReLu в последнем слое нейронной сети?

Рекомендуется использовать ReLu на последнем уровне нейронной сети, когда мы изучаем регрессии. Это имеет смысл для меня, так как вывод от ReLu не ограничен между 0 и 1. Тем не менее, как это ведет себя, когда x < 0 (то есть, когда выход ReLu равен …

relu

14 авг '18 в 20:34

2 ответа

Tensorflow ReLu не работает?

Я написал сверточную сеть в тензорном потоке с функцией relu в качестве функции активации, однако это не обучение (потеря постоянна как для набора данных eval, так и для train). Для разных функций активации все работает как надо. Вот код, где создае…

python tensorflow neural-network conv-neural-network relu

13 июн '18 в 13:22

1 ответ

Функция активации Python ReLu не работает

Моя первая нейронная сеть использовала функцию активации сигмоида и работала нормально. Теперь я хочу перейти на более продвинутую функцию активации (ReLu). Но с ReLu мой NN вообще не работает. 90% ошибок, при использовании сигмоида было 4% ошибок. …

python numpy neural-network relu

23 май '18 в 09:40

1 ответ

Линейная регрессия с использованием нейронной сети

Я работаю над проблемой регрессии со следующими примерами обучающих данных. Как показано, у меня есть вход только 4 параметра с изменением только одного из них, который является Z, так что остальные не имеют реального значения, в то время как выход …

deep-learning neural-network linear-regression relu

23 окт '18 в 14:57

6 ответов

ReLU производная в обратном распространении

:) Я собираюсь сделать обратное распространение в нейронной сети, которая использует ReLU. В моем предыдущем проекте я делал это в сети, в которой использовалась функция активации Sigmoid, но теперь я немного запутался, поскольку у ReLU нет производ…

neural-network backpropagation sigmoid relu

04 фев '17 в 16:16

1 ответ

TensorFlow с керасом: где находится слой ReLU в версии 1.8?

Обновление: нашел его: класс tf.keras.layers.Activation; должен быть вызван с аргументом активации ='relu'.... Попытка доступа к tf.keras.layers.ReLU выдает ошибку: AttributeError: модуль 'tenorflow.tools.api.generator.api.keras.layers' не имеет атр…

python tensorflow keras keras-layer relu

18 июл '18 в 07:46

0 ответов

Как я могу рассчитать уровень разреженности в каждом слое CNN/MLP?

Недавно я изучал разреженность в CNN/MLP, вызванную активацией ReLU. В настоящее время я использую Tensorflow для построения среды Deep Learning, но как я могу рассчитать уровень разреженности в каждом слое вместе с процессом обучения? Я хочу посмот…

tensorflow deep-learning conv-neural-network relu

11 авг '18 в 02:57

1 ответ

RELU Backpropagation

У меня проблемы с реализацией backprop при использовании функции активации relu. Моя модель имеет два скрытых слоя с 10 узлами в обоих скрытых слоях и одним узлом в выходном слое (таким образом, 3 веса, 3 смещения). Моя модель работает не только для…

python neural-network gradient-descent backpropagation relu

13 окт '18 в 05:29

0 ответов

Функция активации для конвоя

Почему все используют Relu для слоев Conv? Я понимаю, что это делает обучение быстрее; Тем не менее, мне было интересно, если кто-нибудь сталкивался с бумагой, которая пробовала несколько функций активации для своих слоев.

conv-neural-network activation-function relu

17 июл '18 в 09:31

1 ответ

Нейронная сеть ReLU, выводящая все 0

Вот ссылка на мой проект: https://github.com/aaronnoyes/neural-network/blob/master/nn.py Я реализовал базовую нейронную сеть в Python. По умолчанию он использует функцию активации сигмоида, и это прекрасно работает. Я пытаюсь сравнить изменения в ск…

python neural-network gradient-descent relu

05 дек '18 в 17:04