Описание тега tensorflow-gradient

Вопросы с тегом
Тег для вопросов, касающихся вычисления градиента, авто-дифференцирования и оценки в тензорном потоке
1 ответ

Используя тензор потока, как вы можете усреднить значения градиента параметров по количеству пакетов и обновить их с помощью этого среднего значения?

Как и многие люди, разрабатывающие модели глубокого обучения, мне мешают мои аппаратные ресурсы, а именно память GPU. У меня проблема с классификацией звука, для которой я пробую несколько RNN. Данные очень большие, и я могу использовать только небо…
26 сен '18 в 15:02
1 ответ

Как назначить пользовательский градиент для операции TensorFlow с несколькими входами

Я пытаюсь использовать TensorFlow's @tf.custom_gradient функциональность для назначения собственного градиента функции с несколькими входами. Я могу собрать рабочую настройку только для одного входа, но не для двух или более. Я основал свой код на д…
04 янв '19 в 23:45
1 ответ

Tensorflow TypeError: аргумент Fetch. При поиске градиента None имеет недопустимый тип <class 'NoneType'>.

Это задача анализа текста с моделью CNN, я хочу визуализировать, какое слово вызывает больше всего для моей конкретной классификации. Вот мой код with tf.Session() as sess: saver = tf.train.import_meta_graph('/home/rakesh/WORK/CNN_Lookout/runs/15190…
14 мар '18 в 07:50
1 ответ

Как сделать обратный переход через модель, которая предсказывает веса для другого в Tensorflow

В настоящее время я пытаюсь обучить модель (гиперсеть), которая может предсказать весовые коэффициенты для другой модели (основной сети) так, чтобы потеря кросс-энтропии основной сети уменьшалась. Однако когда я использую tf.assign для назначения но…
24 май '18 в 21:40
1 ответ

Могу ли я получить градиент тензора относительно входа без применения ввода?

Например, мне нужно вычислить градиент cross_entropy в отношении x, но мне нужно применить другое значение к функции градиента. То есть: f'(x)|x = x_t Я думаю tf.gradients() Функция даст только градиент при x = x, Так обеспечивает ли тензор поток ка…
10 апр '18 в 13:52
0 ответов

Могу ли я вернуть переменные в дополнение к градиенту, используя tf.registergradient

У меня есть вопрос по поводу операции tf.registergradient Я использую @tf.registergradient для внесения пользовательских изменений в градиенты тензорного потока. Примечание. Я не изменяю только дельта-часть градиентов с задним ходом. Это работает но…
08 мар '18 в 11:00
0 ответов

Обратное распространение tf.stop_gradient и tf.gradients

Можем ли мы использовать tf.stop_gradient или tf.gradients, чтобы остановить обратное распространение? Собственно обновление всех весов?
24 сен '18 в 16:43
0 ответов

Используйте методы поворота и перевода из TensorFlow с Backprop

Сегодня я столкнулся с проблемой при использовании tf.contrib.image.rotate и tf.contrib.image.translate в TensorFlow. Я хочу обучить сверточную сеть оценивать вращение и сдвиг между двумя 2D-изображениями лазера в качестве входных данных. network = …
17 апр '18 в 20:42
2 ответа

Тензор потока: изменение весов параметров отличается от того, которое должно быть основано на градиентах

РЕДАКТИРОВАТЬ: Решено - это было глупо использовать различные обучающие примеры для градиентов против обновления оптимизатора. Хорошо, это меня полностью озадачило. У меня есть вектор параметров, давайте назовем его w. w = [-1,34554319, 0,86998659, …
21 мар '18 в 08:21
1 ответ

stop_gradient в тензорном потоке

Мне интересно, останавливает ли tf.stop_gradient вычисление градиента только для данной операции или останавливает обновление входных данных tf.variable? У меня есть следующая проблема: во время вычисления прямого пути в MNIST я хотел бы выполнить н…
07 май '18 в 20:15
0 ответов

Применение градиента одного слоя к предыдущему слою во время backprop

Я пытаюсь обойти градиент от слоя слияния (сделав его равным нулю) и применить градиент следующей области "оценка объема" на слое слияния на backprop. Я не мог найти похожий сценарий, чтобы применить его. Как я могу это сделать? graph = tf.Graph () …
31 янв '18 в 15:53
1 ответ

OpenAI Градиентная контрольная точка с Tensorflow Eager Execution

Я недавно перешел на Tensorflow Eager (в настоящее время работаю с TF 1.8.0) и мне это очень нравится. Однако теперь у меня есть довольно большая модель, которая не вписывается в мою память GPU (GTX 1080Ti, 12 ГБ VRAM) при работе с лентой градиента,…
08 июн '18 в 09:42
1 ответ

Тензор потока: расчет градиента от входа к выходу

Я хотел бы рассчитать градиенты вывода нейронной сети по отношению к входу. У меня есть следующие тензоры: Input: (num_timesteps, features) Output: (num_timesteps, 1) Для градиентов от входных данных ко всему выходному вектору я могу использовать сл…
22 мар '17 в 10:55
2 ответа

Разница между шагами и num_epochs

Я не понимаю необходимость использования steps а также num_epochs в любом виде кода ML. Некоторые программы включают обе переменные одновременно. Может кто-нибудь мне помочь?
01 авг '18 в 20:24
1 ответ

Как распечатать градиенты во время тренировок в Tensorflow?

Для отладки модели Tensorflow мне нужно посмотреть, изменились ли градиенты или есть ли в них nans. Простая печать переменной в Tensorflow не работает, потому что все, что вы видите, это: &lt;tf.Variable 'Model/embedding:0' shape=(8182, 100) dtype=f…
04 мар '18 в 19:48
0 ответов

Создание GAN с эффективным использованием памяти в keras: `clear_session`, приводящий к конфликту тензорных графов

Я написал код для общей состязательной сети, которая будет работать в течение 4000 эпох, однако после 2000 эпох - время компиляции модели и использование памяти становятся очень неэффективными, и код выполняется крайне медленно. Я хотел бы сделать м…
06 фев '19 в 23:24
1 ответ

Как следить за градиентом исчезновения и взрывом в керасе с тензорной доской?

Я хотел бы отслеживать изменения градиента в тензорной доске с помощью кераса, чтобы решить, исчезнет ли градиент или взорвется. Что я должен делать?
26 апр '18 в 00:59
0 ответов

Потеря NaN происходит с пользовательской функцией потерь, даже если градиент установлен на 0

Я пытался реализовать пользовательскую функцию потерь для TF Estimator, но TensorFlow возвращает потери NaN. Это происходит даже при установке низкой скорости обучения (1e-10) или 0. Если принудительно установить градиент на 0, нейронная сеть работа…
16 сен '18 в 18:53
1 ответ

Tensorflow - градиенты для любой переменной не предусмотрены

Я экспериментирую с кодом на Jupyter и продолжаю застрять здесь. На самом деле все работает нормально, если я удаляю строку, начинающуюся с "optimizer =...", и все ссылки на эту строку. Но если я вставлю эту строку в код, это выдаст ошибку. Я не вст…
15 мар '18 в 00:56
1 ответ

Обновление тензора в тензорном потоке

Я определил неконтролируемую проблему в тензорном потоке, мне нужно обновлять мой B и мой tfZ с каждой итерацией, но я не знаю, как обновить мой tfZ используя сеанс tenorflow. tfY = tf.placeholder(shape=(15, 15), dtype=tf.float32) with tf.variable_s…
07 мар '18 в 09:29