Описание тега learning-rate

Вопросы с тегом

1 ответ

Я хочу добавить более одного аргумента в обратные вызовы. Как я могу решить эту ошибку?

Я получаю эту ошибку " AttributeError: объект 'list' не имеет атрибута 'set_model' " когда я добавляю обратный вызов расписания обучения callbacks_list в model.fit_generator <callbacks=[callback,callbacks_list]> Как я могу решить эту ошибку? l…

06 мар '20 в 21:26

0 ответов

Как я могу свести потери к более низкому значению?(Тензорный поток)

Я использовал API обнаружения объектов tensorflow.Вот мое окружение.Все изображения взяты из coco API Tensorflow version : 1.13.1 Tensorboard version : 1.13.1 Number of test images : 3000 Number of train images : 24000 Pre-trained model : SSD mobile…

tensorflow object-detection object-detection-api tensorflow-model-garden learning-rate

03 сен '20 в 14:56

2 ответа

Могу ли я указать в PyTorch скорость обучения с учетом веса ядра?

Я хотел бы установить конкретную скорость обучения для каждого параметра на самом низком уровне. Т.е. каждое значение в весе ядер и смещениях должно иметь свою скорость обучения. Я могу указать такие скорости обучения с использованием фильтров: opti…

python deep-learning pytorch learning-rate

24 ноя '19 в 16:21

0 ответов

Почему скорость обучения в деревьях с градиентным усилением постоянна

Я только начинаю изучать модели машинного обучения, и мне интересно, почему деревья с градиентным усилением имеют постоянную скорость обучения. Разве не имеет смысла снижать скорость обучения со временем?

tree gradient xgboost learning-rate

12 дек '19 в 05:49

0 ответов

Машинное обучение: используйте функцию снижения скорости обучения на плато в сочетании с оптимизатором Adadelta

Я уже использую оптимизатор Adadelta для компиляции моих моделей (как CNN, так и RNN). Мне было интересно, стоит ли того использовать дополнительную функцию для снижения скорости обучения на плато (то есть после эпох n_patience без улучшения потери …

machine-learning learning-rate

16 дек '19 в 18:06

1 ответ

TensorFlow 2.0 - Планировщик скорости обучения

Я использую Python 3.7 и TensorFlow 2.0, мне нужно обучить нейронную сеть для 160 эпох с помощью следующего планировщика скорости обучения: Уменьшение скорости обучения в 10 раз на 80 и 120 эпохах, где начальная скорость обучения = 0,01. Как я могу …

python-3.x deep-learning tensorflow2.0 learning-rate

07 мар '20 в 20:48

0 ответов

Как я могу использовать оптимизатор Adam с планировщиком скорости обучения?

Я хочу использовать планировщик скорости обучения с оптимизатором Adam. Я не знаю, верен ли мой код или нет, я хочу снижать скорость обучения каждые 50 эпох. def step_decay(epochs): initial_lrate = 0.01 drop = 0.1 epochs_drop = 50.0 lrate = initial_…

python keras optimization epoch learning-rate

08 мар '20 в 17:55

1 ответ

Потеря валидации отскакивает случайным образом при обучении модели Keras независимо от используемого оптимизатора

Я переучиваю модель InceptionV3 на 200 изображениях и использую оптимизатор Adam: opt = Adam(lr=0.0001, decay=0.0001 / 100) Я заметил, что убыток отскакивает специально от валидации. Я подумал, что это связано со скоростью обучения, как я видел в не…

python keras tf.keras transfer-learning learning-rate

04 апр '20 в 09:43

0 ответов

Скорость обучения нейронной сети, ошибка деления, если слишком большая, не улучшение, если слишком маленькая

После написания простой нейронной сети я столкнулся с такой проблемой со скоростью обучения (я думаю, это вызвано lr). Для скорости обучения, меньшей или равной 10e-6, я быстро получаю ошибку "деление с плавающей запятой на ноль" - я предполагаю, чт…

python machine-learning neural-network learning-rate

22 апр '20 в 21:31

0 ответов

Какое терпение для EarlyStopping в GridSearchCV - CNN?

Я хочу использовать EarlyStopping в GridSearchCV, потому что у меня разные скорости обучения и разные показатели отсева при поиске. Я не использую EarlyStopping для нахождения оптимального номера эпохи, а только для прерывания тренировки, если нет у…

gridsearchcv dropout learning-rate

11 янв '20 в 20:30

1 ответ

Потеря модели остается неизменной

Я хотел бы понять, что может быть причиной потери этой модели. При обучении сети CNN с 6 скрытыми слоями потери возрастают с 1,8 до более 12 после первой эпохи и остаются неизменными для оставшихся 99 эпох. 724504/724504 [===========================…

machine-learning scikit-learn deep-learning conv-neural-network learning-rate

08 апр '20 в 15:56

1 ответ

Скорость обучения слишком велика, как это влияет на функцию потерь для логистической регрессии с использованием пакетного градиентного спуска

Вопрос: Если скорость обучения (а) слишком велика, что происходит с графиком и как это может повлиять на функцию потерь с итерациями Я где-то читал, что график может не сходиться или на графике может быть много колебаний, я просто хотел бы прояснить…

machine-learning logistic-regression loss-function gradient-descent learning-rate

24 апр '20 в 01:45

1 ответ

Pytorch: ищу функцию, которая позволяет мне вручную устанавливать скорость обучения для определенных интервалов эпох

Например, установите lr = 0,01 для первых 100 эпох, lr = 0,001 от эпохи 101 до эпохи 1000, lr = 0,0005 для эпох 1001-4000. По сути, мой тарифный план обучения не позволяет ему экспоненциально распадаться при фиксированном количестве шагов. Я знаю, ч…

pytorch learning-rate

28 апр '20 в 08:26

1 ответ

Правильно настроить экспоненциальный спад скорости обучения в тензорном потоке

Мне нужно применять экспоненциальное уменьшение скорости обучения каждые 10 эпох. Начальная скорость обучения0.000001, а коэффициент распада 0.95 это правильный способ его настройки? lr_schedule = tf.keras.optimizers.schedules.ExponentialDecay( init…

python tensorflow deep-learning learning-rate

02 май '20 в 02:36

0 ответов

Пики потерь при проверке при использовании скорости циклического обучения. Керас

Я работаю с циклической скоростью обучения в Керасе. Функция скорости циклического обучения взята из keras-contrib. Он сказал, что размер шага должен быть2-8 x training iterations in epoch. Вот почему я выбрал 6. Но я думаю, что это должно быть боль…

keras learning-rate

09 май '20 в 13:43

1 ответ

Слишком малая скорость обучения для множественной линейной регрессии

Я пытаюсь построить модель множественной линейной регрессии для boston набор данных в scikit-learn. Я использую стохастический градиентный спуск (SGD) для оптимизации модели. И мне кажется, что мне нужно использовать очень маленькую скорость обучени…

numpy machine-learning linear-regression learning-rate

25 май '20 в 22:02

1 ответ

скорость обучения AdamW Optimizer

Я тренируюсь с анализом настроений BERT (от huggingface), который является задачей НЛП. Мой вопрос касается скорости обучения. EPOCHS = 5 optimizer = AdamW(model.parameters(), lr=1e-3, correct_bias=True) total_steps = len(train_data_loader) * EPOCHS…

deep-learning nlp huggingface-transformers learning-rate

26 июн '20 в 13:06

1 ответ

Тенсорборд график ReduceLROnPlateau

Мне постоянно не удается отобразить скорость обучения на тензорной доске, потому что я использую ReduceLROnPlateau следующим образом: tensorboard_callback = tf.keras.callbacks.TensorBoard(log_dir=results_path, histogram_freq=1) reduce_lr = ReduceLRO…

python tensorflow learning-rate

31 авг '20 в 19:47

2 ответа

Как выбрать правильное значение множителя скорости обучения?

Я хочу вручную выбрать правильную скорость обучения в задаче классификации изображений с помощью Pytorch, запустив модель для нескольких эпох. Я использовал планировщик LR для снижения скорости обучения, а также управлял скоростью обучения в группе …

optimization pytorch learning-rate

16 янв '20 в 15:03

1 ответ

Скорость обучения не влияет

Я использую MLP с Keras, оптимизированный с помощью sgd. Я хочу настроить скорость обучения, но, похоже, это никак не влияет на тренировку. Я пробовал небольшие скорости обучения (0,01), а также очень большие (до 1,28), и эффекты едва заметны. Разве…

keras deep-learning classification learning-rate

28 мар '20 в 18:40