В чем разница между word2vec, glove и elmo?

Question

В чем разница между word2vec, glove и elmo? Насколько я понимаю, все они используются для обучения встраиванию слов, я прав?

Answer 1

** Да, это оба способа обучить встраиванию слова. Оба они обеспечивают один и тот же основной вывод: вектор на слово, с векторами в удобном расположении - с относительными расстояниями / направлениями, которые примерно соответствуют нашим представлениям об общей взаимосвязи слов и даже взаимосвязи по определенным значимым семантическим измерениям.

Word2Vec выполняет инкрементное, "разреженное" обучение нейронной сети путем многократного повторения обучающего корпуса.

GloVe подбирает векторы для моделирования гигантской матрицы совпадения слов, построенной на основе корпуса.

Работая с одним и тем же корпусом, создавая векторы слов одинаковой размерности и уделяя одинаковое внимание метаоптимизациям, качество их результирующих векторов слов будет примерно одинаковым. (Когда я видел, как кто-то уверенно заявлял, что тот или иной вариант определенно лучше, они часто сравнивали некоторое измененное / наилучшее использование одного алгоритма с некоторыми грубыми / произвольными значениями по умолчанию другого.)

Я больше знаком с Word2Vec, и у меня сложилось впечатление, что обучение Word2Vec лучше масштабируется для более крупных словарей и имеет больше настраиваемых параметров, которые, если у вас есть время, могут позволить настроить ваши собственные обученные векторы слов в большей степени для вашего конкретного приложения.

Вы, вероятно, не стали бы использовать оба, если не сравнивали их друг с другом, потому что они играют одинаковую роль для любых последующих приложений слов-векторов.**