Тонкая настройка с очень низкой скоростью обучения. Есть признаки того, что что-то не так?

Question

Я работал с глубоким обучением с подкреплением, и в литературе обычно скорость обучения ниже, чем я обнаружил в других условиях.

Моя модель следующая:

      def create_model(self):

    model = Sequential()  
    model.add(LSTM(HIDDEN_NODES, input_shape=(STATE_SIZE, STATE_SPACE), return_sequences=False))
    model.add(Dense(HIDDEN_NODES, activation='relu', kernel_regularizer=regularizers.l2(0.000001)))
    model.add(Dense(HIDDEN_NODES, activation='relu', kernel_regularizer=regularizers.l2(0.000001)))
    model.add(Dense(ACTION_SPACE, activation='linear'))

    # Compile the model
    model.compile(loss=tf.keras.losses.Huber(delta=1.0), optimizer=Adam(lr=LEARNING_RATE, clipnorm=1))

    return model

Где начальная скорость обучения (lr) 3e-5. Для точной настройки я замораживаю первые два слоя (этот шаг важен в моих настройках) и уменьшаю скорость обучения до 3e-9. Во время точной настройки модель может пострадать от сдвига распределения, если источником выборки являются искаженные данные. Есть ли еще один источник проблем, помимо этого, из-за такой низкой скорости обучения, чтобы моя модель улучшалась?

Answer 1

Во-первых, покажите мне свой образец данных.

Теоретический ответ:

Мы узнали, как возмущение помогает в решении различных проблем, связанных с обучением нейронной сети или обученной моделью. Здесь мы видели возмущение в трех компонентах (градиенты, веса, входные данные), связанных с обучением нейронной сети и обученной моделью; возмущение в градиентах предназначено для решения проблемы исчезающего градиента, в весах для выхода из седловой точки и во входных данных для предотвращения злонамеренных атак. В целом, возмущения по-разному играют роль усиления модели против различных нестабильностей, например, они могут избежать остановки в точке крушения правильности, поскольку такое положение будет проверяться с помощью возмущения (ввод, вес, градиент), которое заставит модель приблизиться к точка притяжения правильности.

На данный момент возмущение в основном зависит от эмпирических экспериментов, разработанных на основе интуиции для решения возникающих проблем. Необходимо поэкспериментировать, имеет ли интуитивно понятный смысл вмешательство в какой-либо компонент тренировочного процесса, и дополнительно проверить эмпирически, помогает ли это смягчить проблему. Тем не менее, в будущем мы увидим больше о теории возмущений в глубоком обучении или машинном обучении в целом, что также может быть подкреплено теоретической гарантией.