Описание тега gradient-descent

Описание тега Вопросы с тегом
Gradient Descent is an algorithm for finding the minimum of a function. It iteratively calculates partial derivatives (gradients) of the function and descends in steps proportional to those partial derivatives. One major application of Gradient Descent is fitting a parameterized model to a set of data: the function to be minimized is an error function for the model.
1 ответ

TensorFlow: сколько шагов градиента делается за один вызов session.run()?

Алгоритм градиентного спуска делает несколько шагов к минимумам. У меня вопрос, сколько из этих шагов выполняется для каждого вызова sess.run. Разработать на примере: Я использую алгоритм градиентного спуска (tf.train.AdamOptimizer) в моей сети. У м…
31 июл '17 в 16:25
1 ответ

Градиентный спуск не сходится

Вот моя собственная реализация алгоритма градиентного спуска на языке Matlab m = height(data_training); % number of samples cols = {'x1', 'x2', 'x3', 'x4', 'x5', 'x6',... 'x7', 'x8','x9', 'x10', 'x11', 'x12', 'x13', 'x14', 'x15'}; y = data_training{…
19 дек '14 в 23:59
10 ответов

Нейронная сеть всегда предсказывает один и тот же класс

Я пытаюсь реализовать нейронную сеть, которая классифицирует изображения в одну из двух отдельных категорий. Проблема, однако, в том, что в настоящее время он всегда предсказывает 0 для любого ввода, и я не совсем уверен, почему. Вот мой метод извле…
05 янв '17 в 15:06
1 ответ

Градиентный спуск с несколькими переменными с помощью Sympy

Я занимаюсь реализацией алгоритма градиентного спуска для двух переменных в библиотеке Sympy в Python 2.7. Моя цель - найти минимум двух переменных функций, используя вектор производных, в соответствии со следующими шагами: Для функции f (a, b) двух…
09 ноя '18 в 08:18
1 ответ

Когда использовать поиск скорости обучения

Чтение статьи "Циклические учебные курсы для обучения нейронных сетей" https://arxiv.org/abs/1506.01186 Имеет ли смысл использовать искатель скорости обучения, если модель переоснащается? Кроме уменьшения количества итераций до того, как использован…
09 фев '19 в 15:07
1 ответ

Координатный спуск в Python

Я хочу внедрить Coordinate Descent в Python и сравнить результат с Gradient Descent. Я написал код. Но это не работает хорошо. GD, возможно, в порядке, но CD не хорош. Это ссылка на Координатный спуск. --- ССЫЛКА И я ожидал, что этот результат Gradi…
23 авг '18 в 02:05
2 ответа

Нейронная сеть - потеря не сходится

Эта сеть содержит входной слой и выходной слой без нелинейностей. Выходные данные представляют собой просто линейную комбинацию входных данных. Я использую потери регрессии для обучения сети. Я сгенерировал некоторые случайные 1D тестовые данные в с…
16 сен '18 в 14:36
1 ответ

Градиентный спуск расходится, слишком высокая скорость обучения

Ниже приведен фрагмент кода, который выполняет GD шаг за шагом, но тэта расходится. Что может быть не так? X = arange(100) Y = 50 + 4*X + uniform(-20, 20, X.shape) theta = array([0,0]) alpha = 0.001 # one step of GD theta0 = theta[0] - alpha * sum( …
14 дек '16 в 13:32
2 ответа

Что выводит алгоритм обучения в линейную регрессию?

Чтение примечаний к курсу машинного обучения Эндрю Н.Г., в котором говорится о линейной регрессии: Возьмите тренировочный набор и передайте его в алгоритм обучения. Алгоритм выводит функцию h (гипотеза). h принимает входные данные и пытается вывести…
19 июл '15 в 18:17
1 ответ

Конфигурация переменной TensorFlow

Я успешно реализовал алгоритм прямой связи в TensorFlow, который выглядел следующим образом... mnist = input_data.read_data_sets("/tmp/data/", one_hot=True) # tf Graph Input x = tf.placeholder(tf.float32, [None, 784]) # mnist data image of shape 28*…
24 мар '17 в 04:09
1 ответ

Градиент приличный с использованием SGDRegressor алгоритма scikit-learn

Я реализую Gradient Decent с использованием алгоритма scikit-learn SGDRegressor в моем наборе данных аренды, чтобы прогнозировать арендную плату на основе площади, но получаю странные коэффициенты и перехват, и, следовательно, странные прогнозы для …
04 фев '19 в 08:44
0 ответов

Как правильно определить собственный градиент STE во Flux?

Я пытаюсь написать собственный градиент STE с помощью Flux. Активация - это, в основном, функция sign(), а ее градиент является входящим градиентом, если только его абсолютное значение <=1, и отменяется другим способом. Реализация, которую я в насто…
12 фев '19 в 11:13
1 ответ

Что плохого в функции спуска градиента регрессии гребня?

Я кодирую функцию python, но прогноз не соответствует действительности. Предсказываемая цена отрицательна. Однако я не могу найти, где это неправильно. Это правильно или нет, когда я вычисляю производную [i] и вес [i]? пожалуйста помоги.ниже приводи…
05 фев '17 в 14:47
1 ответ

Расчет ошибки при обратном распространении (градиентный спуск)

Может кто-нибудь дать объяснение по поводу вычисления ошибки в обратном распространении, которое встречается во многих примерах кода, таких как: error=calculated-target // then calculate error with respect to each parameter... Это то же самое для кв…
27 июл '17 в 06:07
1 ответ

Что означает параметры = int(theta.ravel().shape[1])?

Может кто-нибудь объяснить этот код для меня? def gradientDescent(X, y, theta, alpha, iters): temp = np.matrix(np.zeros(theta.shape)) parameters = int(theta.ravel().shape[1]) cost = np.zeros(iters) for i in range(iters): error = (X * theta.T) - y fo…
15 апр '18 в 23:59
1 ответ

Тест на сходимость SGD с использованием скорости обучения

Может ли кто-нибудь объяснить объяснение теста сходимости, представленного на 8-й минуте этой лекции Уго Ларошелле?
12 сен '16 в 14:24
2 ответа

Градиентный спуск для линейной регрессии в коде Python

def computeCost(X, y, theta): inner = np.power(((X * theta.T) - y), 2) return np.sum(inner) / (2 * len(X)) def gradientDescent(X, y, theta, alpha, iters): temp = np.matrix(np.zeros(theta.shape)) params = int(theta.ravel().shape[1]) #flattens cost = …
10 авг '17 в 06:13
1 ответ

Алгоритмы линейного регрессионного градиентного спуска в R дают разные результаты

Я пытаюсь реализовать линейную регрессию в R с нуля без использования каких-либо пакетов или библиотек, используя следующие данные: Хранилище данных машинного обучения UCI, Bike-Sharing-Dataset Линейная регрессия была достаточно простой, вот код: da…
11 сен '17 в 19:58
1 ответ

Преобразование градиентного спуска с регуляризацией L2 в код

Я застрял при написании этой строки кода - это действительно простая строка кода, которая меня сбивает с толку. Я должен написать функцию градиентного спуска с параметрами-весами, X, y, train_len (определенными как количество строк X), альфа, learni…
21 сен '18 в 15:43
1 ответ

Реализация наискорейшего спуска в Matlab

Я должен реализовать метод наискорейшего спуска и проверить его на функциях двух переменных, используя Matlab. Вот что я сделал до сих пор: x_0 = [0;1.5]; %Initial guess alpha = 1.5; %Step size iteration_max = 10000; tolerance = 10e-10; % Two anonym…
03 мар '17 в 06:10