Описание тега dropout

Описание тега Вопросы с тегом
Отсев - это метод уменьшения переобучения на этапе обучения нейронной сети.
1 ответ

Ошибка нехватки памяти (OOM) модели tenorflow/keras

Когда я пытался добавить отсев в модель keras, это приводило к ошибке OOM: tenorflow.python.framework.errors_impl.ResourceExhaustedError: OOM при выделении тензора с формой [128,128,176,216]... Предполагается, что модель будет иметь автоматический к…
06 дек '18 в 19:39
0 ответов

Как выкинуть полный канал в керасе?

Я работаю над проблемой классификации сигналов, используя двунаправленный LSTM Keras.Мои данные в формате 3D (партия, длина, каналы).Чтобы получить сеть, способную к лучшему обобщению и с меньшей вероятностью перегрузить ее, не позволяя сети слишком…
02 май '18 в 02:38
0 ответов

Выпадение при сканировании - Theano

Я реализую вариант сети указателя, и я хочу применить dropout к скрытым состояниям на этапах кодирования / декодирования. Вот моя функция отсева: def dropout_layer(proj, use_noise): trng = RandomStreams() proj = tensor.switch(use_noise,(proj *trng.b…
21 сен '16 в 02:00
0 ответов

Tensorflow LSTM - Реализация отсева

Я следую примеру Tensorflow для LSTM (в папке Udacity) https://github.com/tensorflow/tensorflow/blob/master/tensorflow/examples/udacity/6_lstm.ipynb и пытаюсь реализовать выпадение на ванильном LSTM. Читая статью Зарембы, моя интерпретация отсева со…
22 сен '17 в 21:27
1 ответ

Тензор потока: прогноз валидации для каждого изображения одинаков

У меня следующая проблема. Я пытаюсь тренировать 3d CNN в тензорном потоке. Я разделил данные на три набора данных: тренировка, проверка и тестирование. Основная проблема заключается в том, что при тестировании набора проверки после 5 эпох обучения …
18 апр '18 в 00:40
2 ответа

Отсев с активацией relu

Я пытаюсь реализовать нейронную сеть с отсечкой в ​​тензорном потоке. tf.layers.dropout(inputs, rate, training) Из документации: "Выпадение состоит в том, чтобы случайным образом установить частоту дроби входных единиц на 0 при каждом обновлении во …
04 авг '17 в 10:41
1 ответ

ReLu и отсев в CNN

Я изучаю сверточные нейронные сети. Я запутался в некоторых слоях в CNN. Что касается ReLu... Я просто знаю, что это сумма бесконечной логистической функции, но ReLu не подключается ни к каким верхним уровням. Зачем нам ReLu, и как он работает? Что …
05 дек '14 в 16:01
2 ответа

Керас вперед пас с выпадением

Я пытаюсь использовать dropout, чтобы получить оценки ошибок для нейронной сети. Это включает в себя запуск нескольких проходов моей сети после тренировки с активированным выпадением. Однако, похоже, что Dropout не активируется при вызове model.pred…
04 июн '17 в 05:30
1 ответ

Ошибка отсева сверточных нейронных сетей

У меня следующая ошибка, и я не знаю, как ее исправить: convnet = dropout(convnet, 0.8) TypeError: объект 'float' не вызывается convnet = input_data(shape=[None, img_size, img_size, 1], name='input') convnet = conv_2d(convnet, 32, 5, activation='rel…
02 дек '18 в 14:06
3 ответа

Динамическое переключение отсева в Keras/Tensorflow

Я строю алгоритм обучения с подкреплением в Tensorflow, и я хотел бы иметь возможность динамически отключать и затем отключать в течение одного вызова session.run(), Обоснование: мне нужно (1) сделать прямой проход без отсева, чтобы рассчитать цели;…
14 дек '18 в 16:33
1 ответ

Как я могу сообщить Keras фазу обучения, когда я использую train_on_batch для обучения модели?

В моей модели есть выпадающие слои, поэтому я хочу, чтобы keras вычислил фазы обучения и тестирования для запуска или проигнорировал выпадающие слои, и я обнаружил, что K.set_learning_phase может оказать мне такую ​​услугу, но как я могу добавить ег…
09 янв '19 в 11:44
0 ответов

Общий выпадающий слой на входе

Я хочу применить одно и то же выпадение к двум входным тензорам одинаковой формы. Один из способов сделать это - соединить входы, применить выпадение, а затем снова разделить тензоры. Таким образом, одни и те же функции будут исключены из каждого вв…
06 фев '19 в 23:48
0 ответов

Несколько выпадающих слоев в class_head и box_head для быстрого MCDropout

Я использую более быстрый R-CNN Resnet 101 API Tensorflow. Я добавил несколько слоев отсева в методы прогнозирования class_head и box_head для более быстрой выборки MC Dropout. Например, я хочу получить 300*50 обнаружений, если я добавлю 50 выпадающ…
08 фев '19 в 16:15
2 ответа

PyTorch - Как отключить отсев в режиме оценки

Это модель, которую я определил, это простая lstm с 2 полностью соединенными слоями. import copy import torch import torch.nn as nn import torch.nn.functional as F import torch.optim as optim class mylstm(nn.Module): def __init__(self,input_dim, out…
21 дек '18 в 05:41
0 ответов

Как получить значения активации слоя Dropout в последнем мини-пакете в Keras

Я пытался сделать авто-кодер с пользовательской функцией потерь, где функция потерь зависит от значений, маскируемых и не маскируемых слоем выпадения по-разному. Поэтому я пытаюсь получить доступ к значениям в выпадающем слое на последней итерации. …
22 фев '19 в 05:53
1 ответ

Какой вид регуляризации использует регуляризацию L2 или отсев в multiRNNCell?

Я работал над проектом, связанным с последовательным и автоматическим кодировщиком последовательностей для прогнозирования временных рядов. Итак, я использовал tf.contrib.rnn.MultiRNNCell в кодере и декодере. Я запутался в том, какая стратегия испол…
23 апр '18 в 18:21
1 ответ

Добавление отсева на предварительно обученную модель Yolo v1

Я получил код Yolo v1 с https://github.com/lovish1234/YOLOv1 (если при добавлении этой ссылки возникают проблемы с лицензией, свяжитесь со мной) Насколько я знаю, код не содержит выпадения в отличие от статьи Yolo v1. Также согласно оригинальной ста…
23 май '18 в 06:59
1 ответ

Где добавить отсев в нейронной сети?

Я видел описание о пропадании в разных частях нейронной сети: выпадение в весовой матрице, выпадение в скрытом слое после умножения матрицы и до relu, выпадение в скрытом слое после рэлу, и выпадение в выходной балл до функции softmax Я немного смущ…
04 ноя '16 в 15:45
0 ответов

tf.nn.dropout при использовании выдает одинаковое значение

Когда я не использую отсев в моей модели для классификации кошек и собак, прогнозируемые значения остаются нормальными, т.е. не одинаковыми для всех изображений. Но когда я использую tf.nn.dropout с keep_prob = 0.8 для моей модели, которая была реко…
11 сен '18 в 10:17
1 ответ

Случайные отсева для tf.nn.dropout

Я экспериментирую с функцией отбрасывания тензорного потока. Поскольку функциональность, в которой уровень отсева уменьшается со временем во время обучения, была слишком сложной для реализации (вчера пробовали весь день), я подумал, что использовани…
01 июл '18 в 15:22