Что означает глобальный шаг?

Недавно я закончил учебник Cloud ML Criteo, и одно из заключительных сообщений журнала из распределенного учебного задания по "маленькому" набору данных (~40 млн. Примеров) было:

Saving dict for global step 7520: accuracy = 0.78864, ...

Что здесь означает "глобальный шаг"? Я изначально думал, что это было:

global step = (number of training examples * number of epochs) / batch size

Однако размер обучающего набора составляет 40,8 МБ, размер пакета - 30 КБ, а количество эпох - 5, так что это не приводит к правильному ответу:

(40.8M x 5) / 30K = 6800

Источник

1 ответ

Решение

Я думаю, что понимаю это сейчас. Несмотря на то, что размер обучающего набора составляет 40,8 млн. Примеров, в коде есть строка, в которой говорится, что это 45 млн. Примеров (я не знаю почему). А также

(45M x 5) / 30K = 7500

который в основном соответствует сообщению журнала.

Источник
Другие вопросы по тегам