Понимание того, что происходит в течение одной эпохи DBOW

Question

Я использую Distributed Bag of Words (DBOW), и мне интересно, что происходит в течение одной эпохи? DBOW циклически просматривает все документы (также называемые пакетными) или циклически обрабатывает подмножество документов (также называемые мини-пакетными)? Кроме того, для данного документа DBOW будет случайным образом выбирать слово из текстового окна и узнавать весовые коэффициенты, чтобы связать это целевое слово с окружающими словами в окне, означает ли это, что DBOW может не пройти весь текст в документе?

Я прошел код GENSIM ( https://github.com/RaRe-Technologies/gensim), чтобы определить, есть ли параметр для пакета, но не повезло.

Answer 1

Одна эпоха обучения PV-DBOW в Генсиме Doc2Vec будет повторять все тексты, а затем для каждого текста повторять все их слова, пытаясь предсказать каждое слово по очереди, а затем немедленно распространять поправки для этого предсказанного слова. То есть "мини-пакетирование" вообще отсутствует: каждое целевое слово является индивидуальным предсказанием / обратным распространением.

(Существует своего рода группировка в том, как группы текстов отправляются в рабочие потоки, что может несколько изменить порядок, но каждый отдельный пример обучения, представленный нейронной сети, корректируется индивидуально, поэтому SGD-mini происходит дозирование.)

Слова каждого текста рассматриваются по порядку и пропускаются только в том случае, если (а) слово появилось меньше, чем min_count раз; (б) слово встречается очень часто и выбрано для случайного отбрасывания через значение sample параметр. Таким образом, вы можете думать о тренинге как о включении всех значимых слов каждого документа.