Описание тега stochastic-gradient
Стохастический градиентный спуск (или SGD) - это алгоритм, используемый для поиска минимума (локального или глобального) дифференцируемой функции.
0
ответов
Каково значение представления w1 и w2 в y=(w1+w2x) при стохастическом градиентном спуске
Хотите знать значения представления для w1,w2 в то время как y=(w1+w2x)для расчета тета w в каждой итерации для образца затем формула стохастического градиентного спуска.
29 май '19 в 07:45
1
ответ
Стохастический градиент для глубокого обучения
Я читаю о концепции глубокого обучения стохастического градиента. Здесь, на снимке ниже, я не понимаю, что означает утверждение: "Однако общая проблема с существенным шагом в этом направлении заключается в том, что при движении мы можем изменить гра…
16 май '19 в 09:33
0
ответов
SGDRegressor обновление частичного градиента спуска
В скиките-учись, SGDRegressor выполняет стохастический градиентный спуск, т.е. он использует одну выборку вместо всей выборки (размером nскажем) обновить коэффициенты модели. Тем не менее, он все еще загружает весь набор данных в память. С другой ст…
27 май '19 в 22:11
2
ответа
Весы / смещения обновляются только один раз для каждой мини-партии?
Я следую учебному пособию по нейронным сетям, и у меня есть вопрос о функции, которая обновляет веса. def update_mini_batch(self, mini_batch, eta): """Update the network's weights and biases by applying gradient descent using backpropagation to a si…
26 июл '19 в 00:49
1
ответ
В чем разница между стохастическим градиентным спуском и LightGBM?
Хотя я в отдельности исследовал эти концепции, меня смущает вопрос о том, можно ли выбрать одно или другое для решения или оба могут быть использованы одновременно для улучшения результатов? Любое руководство, которое вы можете предоставить, будет в…
03 авг '19 в 17:19
1
ответ
Понимание того, что происходит в течение одной эпохи DBOW
Я использую Distributed Bag of Words (DBOW), и мне интересно, что происходит в течение одной эпохи? DBOW циклически просматривает все документы (также называемые пакетными) или циклически обрабатывает подмножество документов (также называемые мини-п…
14 июн '19 в 01:24
0
ответов
Алгоритм стохастического градиентного спуска с использованием pyspark для получения оптимальных параметров
Я хочу реализовать алгоритм в pyspark, чтобы получить функцию стоимости / значение ошибки, используя как стохастический градиентный спуск, так и градиентный спуск. Я реализовал следующий код в Python, используя модуль Numpy: from numpy import * from…
13 авг '19 в 15:26
0
ответов
Градиент TensorFlow из Optimizer.minimize неправильно вычисляет переменные с зависимостями
Я хотел бы использовать train_opt = tf.train.AdamOptimizer().minimize() для проблемы, где потеря определяется данными, собранными от природы, и, следовательно, необходимо будет передать эти значения с feed_dict параметр sess.run, Проблема в том, что…
05 июн '19 в 21:37
0
ответов
Сколько раз tf.train.GradientDescentOptimizer обновляет веса
Как показано в заголовке, op = tf.train.GradientDescentOptimizer.minimize обновлять веса сети только один раз, если я звоню sess.run(op)за одну итерацию? Если входbatch_size не равно единице, обновляется ли он по-прежнему один раз для всех образцов …
21 сен '19 в 21:00
0
ответов
Сходимость SGD применительно к наименьшим квадратам в R
Я изучаю стохастический градиентный спуск и пытаюсь использовать его со среднеквадратичной ошибкой, применяемой к набору данных Бостона. Выбор функции для минимизации намеренно прост, так что, наконец, я могу сравнить его с хорошо известным результа…
01 дек '19 в 21:45
0
ответов
Есть ли способ обновить нейронную сеть в R с помощью отдельных наблюдений для эпизодического обучения?
Для проекта в области обучения с подкреплением для небольшого примера gridworld с большим количеством смоделированных эпизодов я хочу сделать в R следующее: 0а. Я моделирую 1000 эпизодов со случайной стратегией. 0b. Для каждого возможного действия я…
13 янв '20 в 20:46
0
ответов
Реализация многоклассового SGD, веса не обновляются должным образом
Я использую SGD для изучения весов для мультиклассовой классификации. Избегая лишнего, мой код выглядит следующим образом: def SGD(X, Y, nClasses=3): weights = np.zeros((nClasses,X.shape[1])) for epoch in range(epochs): for x,y in zip(X,Y): yhat = s…
26 мар '20 в 02:28
0
ответов
Онлайн-обучение для сети Yolo?
Я хочу использовать Yolo Network v3, скажем, для обнаружения 5 пользовательских классов объектов, для которых у меня уже есть данные. Итак, я собираюсь использовать данные о тренировках этих классов, чтобы переобучить сеть йоло с предварительно натр…
04 дек '19 в 17:06
0
ответов
Каким должно быть значение n при принятии решения о значении лямбда при использовании l2-регуляризации и стохастического градиентного спуска?
Обычно лямбда - это C/n, где n - количество точек данных, а C - некоторая константа в [0,01; 100]
29 фев '20 в 07:45
2
ответа
Перезапуск с адамом
Я тренирую свою сеть, используя стратегию ранней остановки. Я начинаю с более высокой скорости обучения, и в связи с потерей проверки мне нужно перезапустить обучение с более раннего снимка. Я могу сохранить / загрузить снимок с моделью и оптимизато…
09 окт '19 в 10:03
0
ответов
Временная и пространственная сложность compute_gradients () и apply_gradients ()
Какова вычислительная / временная и пространственная сложность compute_gradients() а также apply_gradients() функции Tensorflow для SGD в CNN?
01 фев '20 в 13:52
1
ответ
Расчет прямого прохода для текущего пакета в методе "get_updates" в Keras SGD Optimizer
Я пытаюсь реализовать правило стохастического armijo в методе get_gradient оптимизатора Keras SGD. Поэтому мне нужно рассчитать еще один прямой проход, чтобы проверить, была ли выбранная скорость обучения хорошей. Мне не нужен еще один расчет градие…
06 июн '20 в 17:12
0
ответов
Почему функция ошибок становится постоянной при реализации стохастического градиентного спуска с использованием 2D-входных данных?
Согласно Q8,9 курса HW5, Caltech Learning from data, мы должны сгенерировать 100 тестовых точек формы (x1,x2) и получить их выходные данные 1/0 в зависимости от того, на какой стороне случайной линии они лежат. Нам необходимо использовать эти обучаю…
31 июл '20 в 20:27
1
ответ
Реализация стохастического градиентного спуска в Python с нуля. правильная реализация?
Я знаю, что это могло бы походить на многие вопросы, заданные ранее по той же теме. Я опросил большинство из них, но они не совсем ответили на мой вопрос. Моя проблема в том, что мой градиент не сходится к оптимуму, он довольно расходится и колеблет…
21 авг '20 в 10:44
1
ответ
регрессия с алгоритмом стохастического градиентного спуска
Я изучаю регрессию с помощью книги "Машинное обучение в действии", и я увидел источник, подобный приведенному ниже: def stocGradAscent0(dataMatrix, classLabels): m, n = np.shape(dataMatrix) alpha = 0.01 weights = np.ones(n) #initialize to all ones f…
26 дек '19 в 18:13