Описание тега sgd

1 ответ

SGD с импульсом в тензорном потоке

В caffe решатель SGD имеет параметр импульса ( ссылка). В тензорном потоке я вижу, что у 'tf.train.GradientDescentOptimizer' нет явного параметра импульса. Тем не менее, я вижу, что есть оптимизатор tf.train.MomentumOptimizer. Это эквивалент caffe S…
28 окт '16 в 04:02
1 ответ

Ошибка значения: только 2 класса в тренировочной группе, но 1 в общем наборе данных. Это не поддерживается для функции решения с несбалансированными складками.

Я изучаю машинное обучение и создаю свою первую модель на наборе данных #mnist. Может ли кто-нибудь помочь мне здесь? Я пробовал Stratified Fold, kfold и другие методы для решения этой проблемы. Версия Pandas '0.25.1', ​​версия Python 3.7 с использо…
06 дек '19 в 18:00
0 ответов

Правильно ли я использовал sklearn с SGDRegressor и Nystroem Method с большим набором данных?

В моем случае я хочу использовать SVR с ядром RBF для обучения моей модели, но мой обучающий набор слишком велик, он содержит около 16 миллионов образцов, и каждый образец имеет 1200 измерений. Я прочитал брошюру Sklearn, в которой говорилось об исп…
29 авг '20 в 09:21
0 ответов

Как определить важность функции в стохастическом градиентном спуске (SGD)

Я искал везде, но не смог найти метод определения важности функций для sgd классификатор.
29 авг '20 в 21:29
0 ответов

Моя ИНС иногда игнорирует класс, возможные решения

Моя ИНС имеет два входа и 16 выходов, иногда она игнорирует некоторые классы, хотя в моем наборе данных почти такое же количество примеров по классам, как вы можете видеть на этом изображении:точки в 3-й строке 4-го столбца просто игнорируются, это …
1 ответ

NaN по матричной факторизации

Я реализовал матричную факторизацию с использованием алгоритма SGD, но я часто получаю NaN в прогнозируемой матрице, когда запускаю ее. Когда я запускаю алгоритм на очень маленькой (6 x 7) матрице, ошибка появляется мало раз. Поскольку я перешел к н…
1 ответ

Оценка достоверности мультиклассовой классификации с использованием мультиклассовой классификации с использованием pred_proba SGDclassifier

Я использую логистическую регрессию в SGDClassifier для выполнения мультиклассовой классификации категории ~10 тыс. Чтобы получить оценку достоверности предсказанного результата, я использую функцию pred_proba. Но я получаю значение вероятности пред…
1 ответ

Понимание результатов обучения CNN

Буду признателен за ваше объяснение по поводу следующего:) Я обучил сеть CNN, которая классифицирует ДВА класса изображений. Я использовал оптимизатор "SGD" и функцию потерь "category_crossentropy". Мои результаты следующие: - потеря обучения = 0,28…
1 ответ

График оптимизатора SGD

Я просто хотел задать быстрый вопрос. Я понимаю, что val_loss и train_loss недостаточно, чтобы определить, переоснащена ли модель. Однако я хочу использовать его в качестве приблизительной меры, отслеживая, увеличивается ли val_loss. Поскольку я исп…
08 янв '20 в 20:26
0 ответов

Попытка изменить конфигурацию IP на принтере Zebra с кодом SGD

Я пытаюсь настроить адреса IP, подсети и шлюза на принтере zebra ZT410 с помощью команд SGD.Я использую "Утилиту настройки Zebra", мои команды getvar работают, но команды setvar не работают. Что я делаю неправильно? Мой код ниже... ! U setvar "inter…
19 мар '20 в 23:52
0 ответов

SGD работает на всех итерациях или в каждую эпоху

У меня есть такая модель CNN с оптимизатором SGD, который помогает быстрее сходиться. Я сомневаюсь, что в каждую эпоху мы используем SGD только один раз в конце эпохи? (случайный выбор данных о размере патча, затем вычисление...) from keras.models i…
19 июн '20 в 19:02
1 ответ

Градиент потери логарифмической регрессии

Я пытаюсь написать мини-пакетный градиентный спуск для регрессии журнала. Учитывая numpy-матрицы X_batch (формы (n_samples, n_features)) а также y_batch (формы (n_samples,)). Наивный способ - написать цикл: def calc_loss_grad(self, X_batch, y_batch)…
03 ноя '19 в 20:57
0 ответов

реализация resource_apply_keras_momentum с помощью Python?

Ищу реализацию tensorflow.python.training_ops.resource_apply_keras_momentum. Обычно это используется в импульсе NAg: v_t+1 = momentum * v_t - lr*grad(theta_t + momentum *v_t) theta_t+1 = theta_t + v_t+1 На самом деле, я хотел бы знать, как оценить г…
13 дек '19 в 12:54
0 ответов

ValueError: не предусмотрены градиенты для любой переменной: ['Variable:0']. При реализации SGD в TensorFlow 2.0.

Я пытаюсь реализовать SGD, чтобы найти несколько минимумов потенциальной функции, но сталкиваюсь с этой ошибкой. Я прикрепляю игрушечную версию своего кода, может ли кто-нибудь указать на ошибку (-ы), которую я сделал здесь: import tensorflow as tf …
25 апр '20 в 17:09
0 ответов

Использует ли pytorch среднее значение обучающих примеров при расчете SGD?

Мне сложно понять результат градиента в простой линейной модели. Рассмотрим две точки X = [1,2] и y=[1,2]. Рассмотрим простую линейную модель, где pred = w * x + b Потери равны 1/2 * ((w * 1 + b - 1) ^ 2 + (w * 2 + b - 2) ^ 2) = 2,5 И производные: d…
22 июн '20 в 15:45
1 ответ

Почему в этом примере keras (SGD) optimizer.minimize() не достигает глобального минимума?

Я заканчиваю руководство по TensorFlow через DataCamp и переписываю / реплицирую примеры кода, над которыми я работаю, в моем собственном блокноте Jupyter. Вот оригинальные инструкции из проблемы кодирования: Я запускаю следующий фрагмент кода и не …
26 авг '20 в 00:52
0 ответов

Количество выходов нейронной сети с неизвестной формой меток

Я пытаюсь построить SGDRegressor с нейронной сетью, где формы меток неизвестны. Я борюсь с количеством выходов последнего слоя. Как я могу выбрать num_outputs так, чтобы формы прогнозов совпадали с формами меток? Мой код выглядит следующим образом: …
26 авг '20 в 12:30
1 ответ

Почему "partial_fit" в "SGDClassifier" страдает от постепенного снижения точности модели

Я готовлюсь к онлайн-опершись SVM классификатор с использованиемSGDClassifier в sklearn. Я узнал, что можно использоватьpartial_fit. Мое определение модели: model = SGDClassifier(loss="hinge", penalty="l2", alpha=0.0001, max_iter…
29 авг '20 в 13:59
4 ответа

Классификатор SGD с Logloss и регуляризацией L2 с использованием SGD без использования sklearn python

Я работаю над проблемой назначения ручной реализации SGD с использованием python. Я застрял в функции производной dw. import numpy as np import pandas as pd from sklearn.datasets import make_classification X, y = make_classification(n_samples=50000,…
1 ответ

CNN регулярно теряет тренировки в конце эпохи

Я тренирую CNN в PyTorch с Адамом, и начальная скорость обучения составляет 1e-5. У меня есть 5039 выборок в мою эпоху, а размер пакета равен 1. Я заметил, что у меня есть регулярный всплеск потерь при обучении в конце эпохи. Вот график потери трени…
29 фев '20 в 17:33