Что такое "партии" и "шаги" в оценщиках TensorFlow и чем они отличаются от эпох?

Question

Я пытаюсь использовать Оценщики TensorFlow. В документации следующий код используется для обучения и оценки сети.

# Fit
nn.fit(x=training_set.data, y=training_set.target, steps=5000)

# Score accuracy
ev = nn.evaluate(x=test_set.data, y=test_set.target, steps=1)
loss_score = ev["loss"]
print("Loss: %s" % loss_score)

Весь тренировочный набор пройден, но у нас есть steps=5000, Значит ли это, что рассматриваются только первые 5000 примеров из набора?

Что это batch_size Значение параметра в этом контексте и как оно взаимодействует с steps?

Спасибо!

Answer 1

batch_size - количество обработанных примеров за один раз. TF проталкивает все это через один прямой проход (параллельно) и следует с обратным распространением на том же наборе. Это одна итерация или шаг.

Параметр steps указывает TF запустить 5000 таких итераций для обучения модели.

Одна эпоха рассматривает каждый пример в обучающем наборе ровно один раз. Например, если у вас есть миллион примеров и размер пакета 200, вам нужно 5000 шагов к одной эпохе: 200 * 5.000 = 1.000.000

Это проясняет терминологию?