Описание тега activation-function

Вопросы с тегом
Функция активации - это нелинейное преобразование, обычно применяемое в нейронных сетях к выходным данным линейного или сверточного слоя. Общие функции активации: сигмовидная, tanh, ReLU и др.
1 ответ

Керас - Нан в сводной гистограмме LSTM

Я написал модель LSTM с использованием Keras и предварительной активации LeakyReLU: # ADAM Optimizer with learning rate decay opt = optimizers.Adam(lr=0.0001, beta_1=0.9, beta_2=0.999, epsilon=1e-08, decay=0.0001) # build the model model = Sequentia…
31 окт '18 в 09:35
1 ответ

Как реализовать модифицируемую функцию активации в классе нейронов в Java?

Я изучаю концепцию нейронных сетей. Я решил попробовать сделать нейронный класс самостоятельно. Каков наилучший способ реализации различных функций активации в моем коде? Теперь он использует только двоичную шаговую функцию. Это моя первая попытка к…
14 июн '17 в 10:56
0 ответов

Как реализовать полностью настраиваемую функцию активации и ее производную в TensorFlow?

Я создал новую функцию активации для своего проекта Deep Learning. Как я могу преобразовать функцию активации, чтобы она поддерживалась Tensorflow? В нескольких статьях говорилось, что для кодирования на C++ требуются знания и работа с Cuda. Есть ли…
04 апр '18 в 03:20
1 ответ

Факел - почему люди не используют активацию явно?

Всякий раз, когда я видел нейронные сети, реализованные в Torch, они только соединяли модули. Например, есть модуль секвенсора с LookupTable, Splittable, FasLSTM, Linear, LogSoftMax. Почему люди не используют промежуточные функции активации, такие к…
29 ноя '16 в 10:21
2 ответа

Почему линейная функция бесполезна в многослойной нейронной сети? Как последний слой становится линейной функцией входа первого слоя?

Я изучал функцию активации в NN, но не мог правильно понять эту часть: "Каждый слой активируется линейной функцией. Эта активация, в свою очередь, переходит на следующий уровень в качестве входных данных, а второй слой вычисляет взвешенную сумму на …
06 янв '19 в 19:40
1 ответ

Как использовать tf.nn.crelu в тензорном потоке?

Я пробую разные функции активации в моей простой нейронной сети. Не имеет значения, используя tf.nn.relu, tf.nn.sigmoid... сеть делает то, что должна делать. Но если я использую tf.nn.creluУ меня ошибка измерения. Возвращает что-то вроде [max, min] …
08 дек '17 в 20:25
0 ответов

Можем ли мы найти длину исходного массива из дерева активации функции быстрой сортировки

У меня есть общая функция быстрой сортировки и дерево активации ее выполнения. Есть ли способ выяснить, просто посмотрев на дерево активации без информации о том, как реализована быстрая сортировка или раздел, какова длина массива? Мне кажется очеви…
01 дек '17 в 20:27
5 ответов

Как реализовать утечку с помощью функций Numpy

Я пытаюсь реализовать утечку Relu, проблема в том, что мне нужно сделать 4 цикла для 4-х мерного массива ввода. Есть ли способ, которым я могу сделать течь, только с помощью функций Numpy?
24 май '18 в 20:20
0 ответов

Мой вопрос о мультиклассовой классификации с керасом для данных wifi

** Я хочу сделать мультиклассовую классификацию, используя керасы, у меня есть набор данных с 1500 выборками из 150 различных меток (довольно большой), данные являются сигнальными, ** результат очень плохой, начиная с.02, однако, когда я изменил фун…
07 ноя '18 в 20:29
2 ответа

Отсев с активацией relu

Я пытаюсь реализовать нейронную сеть с отсечкой в ​​тензорном потоке. tf.layers.dropout(inputs, rate, training) Из документации: "Выпадение состоит в том, чтобы случайным образом установить частоту дроби входных единиц на 0 при каждом обновлении во …
04 авг '17 в 10:41
1 ответ

Как установить подходящую функцию активации для ANN, имеющего отрицательные входные значения

Я создаю ANN, который имеет 3 входных нейрона, которые получают данные от акселерометра устройства в виде x, y, z. Эти значения являются положительными, а также отрицательными в зависимости от ускорения. Я не могу получить подходящий активация для н…
08 июн '18 в 02:03
2 ответа

Рекомендации по использованию ReLU в качестве функции активации

Я внедряю нейронную сеть и хотел использовать ReLU в качестве функции активации нейронов. Кроме того, я тренирую сеть с SDG и обратным распространением. Я тестирую нейронную сеть с парадигматической проблемой XOR, и до сих пор она правильно классифи…
08 янв '17 в 23:27
1 ответ

Реализация сигмоидальной функции в python

Я пытаюсь реализовать простую нейронную сеть для функции XOR. Я использую функцию активации Sigmoid. Код для сигмоидальной функции: def ActivationFunction(a) e = 2.671 # Sigmoid Function expo = e ** a val = expo / (1 + expo) return val Моя проблема …
10 май '18 в 06:10
1 ответ

Реализация функции активации блока в Tensorflow

Я пытался воспроизвести DNN, где используется функция активации блока под названием BlockRelu. Определяется как BlockRelu Я пытался написать эту функцию в соответствии с некоторыми примерами кодов для самоопределенных функций активации, но все эти ф…
04 дек '18 в 14:14
2 ответа

Роль функции активации в вычислении функции стоимости для искусственных нейронных сетей

У меня есть некоторые трудности с пониманием роли функций активации и функций стоимости. Давайте посмотрим на простой пример. Допустим, я строю нейронную сеть (искусственная нейронная сеть). У меня есть 5 переменных x и одна переменная y. Если я дел…
10 янв '19 в 14:20
1 ответ

Керас пользовательской активации, чтобы сбросить при определенных условиях

Я пытаюсь сбросить значения меньше 1 и больше -1 в моей пользовательской активации, как показано ниже. def ScoreActivationFromSigmoid(x, target_min=1, target_max=9) : condition = K.tf.logical_and(K.tf.less(x, 1), K.tf.greater(x, -1)) case_true = K.t…
07 фев '19 в 01:10
1 ответ

Какую функцию активации использовать для нейронных сетей

Заранее извиняюсь, если этот вопрос не является общепринятым подходом, где задействован фрагмент кода или вопрос о коде. Я просто пытаюсь понять некоторые конкретные моменты на тему нейронных сетей. Я смотрел видео на YouTube (от Siraj Raval - Школа…
08 фев '19 в 23:36
1 ответ

Получение вывода до нелинейной активации в Керасе

Как я могу получить значение до активации, когда я использую следующий синтаксис для определения слоя в Keras: model.add(Convolution2D(128, 5, 5, activation='relu')) Я знаю, что я могу просто использовать: model.add(Convolution2D(128, 5, 5)) model.a…
23 дек '18 в 14:37
1 ответ

Как реализовать функцию активации RBF в Керасе?

Я создаю настраиваемую функцию активации, в частности функцию активации RBF: from keras import backend as K from keras.layers import Lambda l2_norm = lambda a,b: K.sqrt(K.sum(K.pow((a-b),2), axis=0, keepdims=True)) def rbf2(x): X = #here i need inpu…
19 дек '18 в 17:00
3 ответа

Как ReLu работает с нулевым центром вывода?

В проблеме, которую я пытаюсь решить, мой выходной домен расположен по центру нуля, между -1 и 1. При поиске функций активации я заметил, что ReLu выводит значения в диапазоне от 0 до 1, что в основном означало бы, что все выходные данные являются о…
11 янв '19 в 20:18