Ошибка при загрузке предварительно обученной французской модели FastText с помощью gensim

Question

Я пытаюсь использовать французскую предварительно обученную бинарную модель FastText (загружается с официальной страницы FastText на github). мне нужно .bin модель, а не .vec векторы слов, чтобы приблизить слова с ошибками и из словарного запаса.

Однако, когда я пытаюсь загрузить указанную модель, используя:

from gensim.models import FastText
model = FastText.load_fasttext_format('french_bin_model_path')

Я получаю следующую ошибку:

NotImplementedError: Supervised fastText models are not supported

Что удивительно, так это то, что он прекрасно работает, когда я пытаюсь загрузить английскую бинарную модель.

Я использую Python 3.6 и Gensim 3.5.0.

Любая идея, почему она не работает с французскими векторами, приветствуется!

Answer 1

Я столкнулся с той же проблемой и в итоге использовал оболочку Facebook для Python для FastText вместо реализации gensim.

import fastText 
model = fastText.load(path_to_french_bin)

Тогда вы можете получить векторы слов для словарных слов, например:

oov_vector = model.get_word_vector(oov_word)

Что касается того, почему Генсим load_fasttext_format работает на английскую модель, а не на французскую, я не знаю!

Answer 2

Я никогда не использовал FastText, но проблема может заключаться в кодировке вашего файла. Попробуйте изменить его на Utf-8, если вы используете macOS, или на Latin-1, если вы используете Windows.