Описание тега regularized

Описание тега Вопросы с тегом
Regularization involves introducing additional information in order to solve an ill-posed problem or to prevent over-fitting by shrinking the parameters of the model stay close to zero
0 ответов

Лямбда не работает для упругой регрессии в карете

lm6control <- trainControl(method = "repeatedcv", number = 2, repeats = 3) lm6grid <- expand.grid(alpha = seq(0, 1, 0.1), lambda = c(0, 0.00001, 0.0001, 0.001, 0.01, 0.1, 0.2, 0.5, 1)) lm6 <- train(form = FACE ~ ., data = termlife.insured.t…
29 ноя '18 в 15:40
1 ответ

Выпадающий слой идет до или после плотного слоя в TensorFlow?

Согласно Руководству по слоям TF выпадающий слой идет после последнего плотного слоя: dense = tf.layers.dense(input, units=1024, activation=tf.nn.relu) dropout = tf.layers.dropout(dense, rate=params['dropout_rate'], training=mode == tf.estimator.Mod…
07 дек '17 в 18:30
0 ответов

Прогнозирование с использованием слоя Keras Timedistributed

Я пытаюсь смоделировать два временных ряда одновременно, используя Keras с LSTM и слой Timedistributed. Данные, которые я рассматриваю, представляют собой регрессионную установку с двумя косинусоидальными волнами с добавленным гауссовским шумом. Одн…
14 мар '17 в 08:36
0 ответов

Хорошее MSE не означает хороший прогноз в логистической регрессии?

Я пишу код для упорядоченной логистической регрессии. Я наблюдаю это интересное явление и задаюсь вопросом, нормально ли это или просто мой код неверен. Для функции потерь я использую функцию логистических потерь (максимизирую вероятность двоичных п…
12 авг '14 в 15:43
1 ответ

Регуляризованный градиентный спуск Python для логистической регрессии

Я пытаюсь реализовать Gradient Descent (GD) (не стохастический) для логистической регрессии в Python 3x. И есть некоторые проблемы. Логистическая регрессия определяется следующим образом (1): формула логистической регрессии Формулы для градиентов оп…
26 фев '18 в 17:00
1 ответ

Назначение значений местоположения на основе даты и времени второго набора данных

У меня есть 2 кадра данных: 1 - это последовательность местоположений GPS с соответствующими датами и временем (POSIXct) GPS <- data.frame(Lat=c(58.65209, 58.65183, 58.65142, 58.65129, 58.65126, 58.65124, 58.65122, 58.65119, 58.65117, 58.65115), …
10 ноя '16 в 14:15
1 ответ

Как можно использовать регуляризацию в TensorFlow-Slim?

Я хочу использовать регуляризацию в моем коде. Я использовал slim для создания conv2d следующим образом: slim.conv2d(input, 256, [1, 1], stride=1, padding='SAME', scope='conv1') Как я могу добавить регуляризацию к этому? и как я могу использовать ег…
01 сен '16 в 06:55
0 ответов

Как упорядочить перехват с glmnet

Я знаю, что glmnet не регулирует перехват по умолчанию, но я все равно хотел бы это сделать. Я взглянул на этот вопрос и попытался сделать то, что предложил Уубер (добавив постоянную переменную и повернув параметр intercept в FALSE), но в результате…
17 апр '18 в 22:08
0 ответов

Поддерживает ли scikit-learn общую регуляризацию Тихонова в своих модулях Риджа?

Используя обозначения из Википедии, кажется, что модули хребта scikit-learn используют кратную единичную матрицу в качестве гамма-матрицы Тихонова. Поэтому матрица Тихонова задается одним значением альфа. В результате все коэффициенты штрафуются рав…
17 авг '17 в 16:49
3 ответа

Регуляризованный код логистической регрессии в Matlab

Я пробую свои силы в регуляризованном LR, просто с этой формулой в Matlab: Функция стоимости: J(theta) = 1/m*sum((-y_i)*log(h(x_i)-(1-y_i)*log(1-h(x_i))))+(lambda/2*m)*sum(theta_j) Градиент: ∂J(theta)/∂theta_0 = [(1/m)*(sum((h(x_i)-y_i)*x_j)] if j=0…
06 ноя '13 в 22:34
1 ответ

Как использовать glmnet без регуляризации

Я читал, что glmnet можно использовать без регуляризации, то есть его можно использовать как обычный glm. Я пишу тезис и пытаюсь избежать использования множества различных пакетов, поэтому было бы удобно использовать glmnet для регулярной подгонки л…
06 май '15 в 10:52
2 ответа

TensorFlow: как изменить keep_prob для Dropout без использования feed_dict

Я построил модель TensorFlow, которая работает с пакетами обучения и тестирования, предоставляемыми входными очередями. Таким образом, я не предоставляю данные для обучения в явном виде, используя стандартный feed_dict. Тем не менее, мне нужно реали…
10 сен '17 в 13:56
1 ответ

Реализация регрессии LASSO без библиотек Python

Я новичок в Python и серьезно ищу реализацию LASSO на Python без использования библиотек Python (например, sklearn и т. Д.) Я особенно заинтересован в этом, чтобы помочь мне понять, как основополагающая математика переводит в код Python. С этой цель…
28 янв '19 в 22:21
1 ответ

Vowpal Wabbit хеш-коллизия работает лучше, чем L1 как регуляризация

У меня есть модель классификации VW, которую я хотел проверить на количество признаков и количество коллизий хешей. Я обучил его и протестировал на разных наборах данных. Наборы данных содержат более 400 тыс. Функций, поэтому с 18-битным пространств…
20 фев '19 в 11:21
0 ответов

Эластичная чистая регрессия

Я только начал использовать пакет GLM Net для создания Penalized GLM Models. Я просто экспериментировал с различными значениями альфа и лямбда и их влиянием на параметры. Я просто пытался развить интуицию о том, как должны выглядеть параметры, если …
15 фев '19 в 06:33
1 ответ

Почему количество наблюдений уменьшается при использовании model.matrix в регрессии гребня?

Я использую пакет glmnet в R для регрессии гребня. Я примерил набор данных Hitters из пакета ISLR. Проблема в том, что когда я использую model.matrix для создания матрицы проекта, количество наблюдений уменьшается по неизвестной причине. Это код. li…
24 фев '19 в 17:33
3 ответа

Почему существует необходимость использования регуляризации в задачах машинного обучения?

Это может показаться глупым вопросом, но я просто не могу придумать разумный ответ. Говорят, что регуляризация может помочь нам получить простые модели, а не сложные, чтобы избежать чрезмерного соответствия. Но для задачи линейной классификации: f(x…
14 янв '16 в 13:51
0 ответов

Логистическая регрессия - Точность и Напоминание показывают одинаковое поведение с различной регуляризацией?

Я выполнил поиск по сетке по параметру C модели логистической регрессии sklearn. На рисунке показаны мои результаты. Но я не понимаю, почему отзыв и точность показывают одинаковое поведение. Разве точность не должна быть низкой, а отзыв - высоким, е…
10 дек '17 в 11:54
1 ответ

Какой вид регуляризации использует регуляризацию L2 или отсев в multiRNNCell?

Я работал над проектом, связанным с последовательным и автоматическим кодировщиком последовательностей для прогнозирования временных рядов. Итак, я использовал tf.contrib.rnn.MultiRNNCell в кодере и декодере. Я запутался в том, какая стратегия испол…
23 апр '18 в 18:21
1 ответ

Стратегия регуляризации в Керасе

Я пытаюсь настроить задачу нелинейной регрессии в Керасе. К сожалению, результаты показывают, что происходит переоснащение. Вот код, model = Sequential() model.add(Dense(number_of_neurons, input_dim=X_train.shape[1], activation='relu', kernel_regula…
11 янв '18 в 02:52