Керас: как вывести скорость обучения на тензорную доску
Я добавляю обратный вызов к скорости обучения затуханию:
keras.callbacks.ReduceLROnPlateau(monitor='val_loss', factor=0.5, patience=100,
verbose=0, mode='auto',epsilon=0.00002, cooldown=20, min_lr=0)
вот мой обратный вызов тензорной доски:
keras.callbacks.TensorBoard(log_dir='./graph/rank{}'.format(hvd.rank()), histogram_freq=10, batch_size=FLAGS.batch_size,
write_graph=True, write_grads=True, write_images=False)
Я хочу убедиться, что он заработал во время моей тренировки, поэтому я хочу вывести скорость обучения на тензорбаорд. Но я не могу найти, где я могу ее установить.
Я также проверил оптимизатор API, но не повезло.
keras.optimizers.Adam(lr=0.001, beta_1=0.9, beta_2=0.999, epsilon=None, decay=0.0, amsgrad=False)
Итак, как я могу вывести скорость обучения в тензорбоад?
6 ответов
По словам автора Keras, правильным способом является создание подкласса TensorBoard Перезвоните:
from keras import backend as K
from keras.callbacks import TensorBoard
class LRTensorBoard(TensorBoard):
def __init__(self, log_dir): # add other arguments to __init__ if you need
super().__init__(log_dir=log_dir)
def on_epoch_end(self, epoch, logs=None):
logs.update({'lr': K.eval(self.model.optimizer.lr)})
super().on_epoch_end(epoch, logs)
Обратите внимание, что с текущей ночной версией tf (2.5 - возможно, более ранней) скорости обучения с использованием LearningRateSchedule автоматически добавляются в журналы tenorboard. Следующее решение необходимо только в том случае, если вы адаптируете скорость обучения другим способом - например, с помощью обратных вызовов ReduceLROnPlateau или LearningRateScheduler (отличных от LearningRateSchedule).
При расширении
tf.keras.callbacks.TensorBoard - жизнеспособный вариант, я предпочитаю композицию подклассам.
class LearningRateLogger(tf.keras.callbacks.Callback):
def __init__(self):
super().__init__()
self._supports_tf_logs = True
def on_epoch_end(self, epoch, logs=None):
if logs is None or "learning_rate" in logs:
return
logs["learning_rate"] = self.model.optimizer.lr
Это позволяет нам составлять несколько похожих обратных вызовов и использовать зарегистрированную скорость обучения в нескольких других обратных вызовах (например, если вы добавляете CSVLogger, он также должен записывать значения скорости обучения в файл).
Затем в
model.fit
model.fit(
callbacks=[
LearningRateLogger(),
# other callbacks that update `logs`
tf.keras.callbacks.TensorBoard(path),
# other callbacks that use updated logs, e.g. CSVLogger
],
**kwargs
)
Вы дали код оптимизатора дважды, а не TensorBoard Callback. Во всяком случае, я не нашел способа отобразить скорость обучения на TensorBoard. Я планирую это после окончания обучения, беру данные из объекта "История":
nb_epoch = len(history1.history['loss'])
learning_rate=history1.history['lr']
xc=range(nb_epoch)
plt.figure(3,figsize=(7,5))
plt.plot(xc,learning_rate)
plt.xlabel('num of Epochs')
plt.ylabel('learning rate')
plt.title('Learning rate')
plt.grid(True)
plt.style.use(['seaborn-ticks'])
График выглядит так: LR сюжет
Извините, это не совсем то, о чем вы спрашиваете, но, возможно, могло бы помочь.
class XTensorBoard(TensorBoard):
def on_epoch_begin(self, epoch, logs=None):
# get values
lr = float(K.get_value(self.model.optimizer.lr))
decay = float(K.get_value(self.model.optimizer.decay))
# computer lr
lr = lr * (1. / (1 + decay * epoch))
K.set_value(self.model.optimizer.lr, lr)
def on_epoch_end(self, epoch, logs=None):
logs = logs or {}
logs['lr'] = K.get_value(self.model.optimizer.lr)
super().on_epoch_end(epoch, logs)
callbacks_list = [XTensorBoard('./logs')]
model.fit(X_train, y_train, validation_data=(X_test, y_test), epochs=20, batch_size=32, verbose=2, callbacks=callbacks_list)
Просто убедитесь, чтоReduceLROnPlateauобратный вызов происходит доTensorBoardобратный вызов в списке обратных вызовов. Затем вы увидитеlrметрика регистрируется в TensorBoard каждую эпоху.
Для tensorflor 2.5, если у вас есть собственный планировщик скорости обучения:
class LearningRateLogger(tf.keras.callbacks.Callback):
def __init__(self, log_dir):
super().__init__()
self._supports_tf_logs = True
self.log_dir = log_dir
def set_model(self, model):
self.model = model
self.sess = tf.compat.v1.keras.backend.get_session()
self.writer = tf.summary.create_file_writer(self.log_dir)
def on_epoch_end(self, epoch, logs=None):
if logs is None or "learning_rate" in logs:
return
logs["learning_rate"] = self.model.optimizer.lr
logs.update({'learning_rate': self.model.optimizer.lr})
self._write_logs(logs, epoch)
def _write_logs(self, logs, index):
with self.writer.as_default():
for name, value in logs.items():
if name in ['batch', 'size']:
continue
if isinstance(value, np.ndarray):
tf.summary.scalar(name, value.item(), step=index)
else:
tf.summary.scalar(name, value, step=index)
self.writer.flush()
Затем для вызова обратного вызова в вашей модели model.fit:
model.fit(x=..., y=..., callbacks=[LearningRateLogger(log_dir="/path/to/folder/where/tensorboard/is/logging")])