Описание тега batch-normalization
Пакетная нормализация - это метод улучшения обучения в нейронных сетях путем нормализации распределения каждой входной функции в каждом слое по каждому мини-пакету до N(0, 1).
1
ответ
Как я могу использовать while_loop и tf.layers.batch_normalization для обучения?
Мне нужно добавить слой batch_normalization в теле цикла while, но он ломается, когда я тренируюсь в сети. Все нормально если уберу x = tf.layers.batch_normalization(x, training=flag), Могу ли я использовать высокий API в теле цикла? Я не хочу испол…
23 апр '18 в 12:21
1
ответ
Модель поезда Keras со слоем BatchNorm с тензорным потоком
Я использую keras для построения модели и пишу оптимизирующие коды и все остальные в тензорном потоке. Когда я использовал довольно простые слои, такие как Dense или Conv2D, все было просто. Но добавление слоя BatchNormalization в мою модель keras у…
01 апр '17 в 11:58
1
ответ
Как эффективно использовать нормализацию партии в LSTM?
Я пытаюсь использовать пакетную нормализацию в LSTM с использованием keras в R. В моем наборе данных переменная target/output является Sales столбец, и каждая строка в наборе данных записывает Sales за каждый день в году (2008-2017). Набор данных вы…
31 янв '18 в 14:49
2
ответа
Пакетная нормализация для некоторых входов только в керасе
У меня есть сеть LSTM, которая имеет 5 входов. Типичные значения 1-го входа - от 1000 до 3000. Остальные входы имеют значения от -1 до 1. Я хотел бы вставить BatchNormalization в качестве 1-го слоя. Но входы 2-5 уже находятся между -1 и 1, и 1-й вхо…
06 ноя '17 в 13:21
0
ответов
Пакетная нормализация с 3-мя свертками (временной шаг, высота, ширина)
В принципе, это всего лишь 2-я сверточная модель. Потребность в третьем измерении проистекает из того факта, что я хочу включить штраф в сглаживание в свою функцию потерь, которая требует выходных данных от 3 последовательных временных шагов. ПРИМЕЧ…
13 мар '18 в 09:01
0
ответов
Батчнормализация пирога во время испытаний
Это новый вопрос, который я задаю здесь, но по какой-то причине, когда я изменяю размер партии во время тестирования, точность моей модели изменяется. Уменьшение размера партии снижает точность до тех пор, пока размер партии 1 не приведет к точности…
11 авг '18 в 17:58
0
ответов
Как реализовать LSTM с пакетной нормализацией с использованием CNTK NDL?
Я хочу реализовать модель LSTM, есть ли какая-либо нормализация использования прироста в модели LSTM? Как это сделать в CNTK NDL? LSTM.NDL: https://github.com/Microsoft/CNTK/blob/master/Examples/Speech/Miscellaneous/TIMIT/config/lstm.ndl
04 дек '17 в 11:26
1
ответ
Как можно отладить этот слой keras?
Я новичок в Keras и пытаюсь реализовать в Keras оформленную пакетную документацию Norm ( https://arxiv.org/abs/1804.08450) в качестве учебного опыта. Слой очень похож на стандартную серию норм с несколькими дополнительными компонентами. Вместо того,…
23 июл '18 в 12:17
2
ответа
Как число параметров, связанных со слоем BatchNormalization, равно 2048?
У меня есть следующий код. x = keras.layers.Input(batch_shape = (None, 4096)) hidden = keras.layers.Dense(512, activation = 'relu')(x) hidden = keras.layers.BatchNormalization()(hidden) hidden = keras.layers.Dropout(0.5)(hidden) predictions = keras.…
01 мар '17 в 00:09
1
ответ
Пакетная нормализация: фиксированные образцы или различные образцы по размеру?
Некоторые вопросы возникли у меня, когда я прочитал статью "Нормализация партии: ускорение глубокого обучения работе с сетью за счет уменьшения внутреннего ковариатного сдвига". В статье говорится: Поскольку m примеров из данных обучения могут оцени…
30 сен '17 в 08:38
2
ответа
Пакетная нормализация вместо нормализации ввода
Могу ли я использовать пакетный слой нормализации сразу после входного слоя и не нормализовать мои данные? Могу ли я ожидать аналогичного эффекта / производительности? В керасе функционал это будет примерно так: x = Input (...) x = Batchnorm(...)(x)…
16 окт '17 в 13:48
0
ответов
TensorFlow - Сбой нормализации пакета при регрессии?
Я использую TensorFlow для многоцелевой регрессии. В частности, в сверточной сети с пиксельной маркировкой, где вводом является изображение, а меткой является "тепловая карта", где каждый пиксель имеет значение с плавающей запятой. Более конкретно, …
23 мар '17 в 17:33
0
ответов
Способ нормализации партии, извлечения элементов партии и обучения партии
Из-за того, что набор данных слишком велик, чтобы загрузить все сразу. Мне нужно нормализовать, извлечь функции и обучить его партиями. Я выбрал радужную оболочку в качестве набора данных и scikit-learn в python, чтобы подтвердить свои идеи. Первым …
28 дек '17 в 02:22
1
ответ
tf.layers.batch_normalization большая ошибка теста
Я пытаюсь использовать пакетную нормализацию. Я попытался использовать tf.layers.batch_normalization в простой сети для mnist. Я получаю высокую точность для шага поезда (>98%), но очень низкую точность теста (<50%). Я пытался изменить значения импу…
05 апр '17 в 14:50
1
ответ
Что означает ось = 3 в BatchNormalization
inputs = Input((img_height, img_width, img_ch)) conv1 = Conv2D(n_filters, (k, k), padding=padding)(inputs) conv1 = BatchNormalization(scale=False, axis=3)(conv1) conv1 = Activation('relu')(conv1) conv1 = Conv2D(n_filters, (k, k), padding=padding)(co…
26 авг '18 в 07:49
0
ответов
Как тензорный поток вычисляет градиенты через слой пакетной нормализации?
Мне нужно повторить вычисления, которые тензорный поток делает при распространении обратно через слой нормализации партии. Я использую эту реализацию batchnorm в качестве шаблона: class batch_norm: def __init__(self,inputs,size,is_training,sess,bn_p…
31 авг '18 в 12:53
0
ответов
Pytorch Batchnorm слой отличается от Keras Batchnorm
Я пытаюсь скопировать предварительно обученные веса BN из модели Pytorch в эквивалентную модель Keras, но продолжаю получать разные результаты. Я читаю документацию Keras и Pytorch BN и думаю, что разница заключается в том, как они вычисляют "средне…
12 фев '19 в 12:54
2
ответа
Использование пакетной нормы при восстановлении модели?
У меня есть небольшая проблема, связанная с использованием пакетной нормы при восстановлении модели в тензорном потоке. Ниже моя норма партии, которая отсюда: def _batch_normalization(self, input_tensor, is_training, batch_norm_epsilon, decay=0.999)…
18 окт '17 в 11:38
0
ответов
Batch_norm, производительность
Я использовал простую сеть с и без batchnorm, но с batchnorm я получаю худший результат, это нормально? То же самое произошло, когда я сравнил свою простую сеть с регуляризатором и без него. Ниже показано, как я определил свою сеть с помощью пакетно…
21 фев '18 в 09:04
1
ответ
Норма партии Tensorflow, приводящая к дисбалансу между потерей обучения и потерей проверки?
Ниже приведен фрагмент кода. Я использую Очереди, чтобы загрузить данные обучения, и использую Подачу, чтобы загрузить изображения проверки. Наряду с тренировочным процессом, потеря тренировки и точность обучения просто идут правильно. Однако, что к…
21 авг '17 в 07:52