deeplearning4j: онлайн обучение Word2Vec

Question

Word2vec отличный инструмент deeplearning4j. Мне удалось создать вектор для корпуса после этого урока.

Теперь вопрос состоит в том, как обновить модель новыми предложениями, не перестраивая ее заново.

Некоторые мысли по этому поводу, поможет ли этот метод?

public void trainSentence(List<VocabWord> sentence){}

Будет ли это обновить модель? Если да, то как подготовить предложение для отправки по этому методу?

Answer 1

И да и нет. В документации здесь упоминается:

Добавлено обновление весов после сериализации / десериализации модели. То есть вы можете обновить состояние модели, скажем, 200 ГБ нового текста, вызвав loadFullModel, добавив TokenizerFactory а также SentenceIterator к нему, и зовет fit() на восстановленной модели.

Это означает, что веса моделей могут быть переобучены и обновлены с новым корпусом. Но никакие новые слова не будут добавлены в словарь.

Проверьте код и Javadoc здесь.