Описание тега kenlm
KenLM - это быстрый набор инструментов для моделирования языков с низким объемом памяти, который масштабируется до триллионов слов.
1
ответ
Проблема с Tensorflow Kenlm
Как установить tenorflow с помощью kenlm? Очевидно, что при использовании декодера поиска луча ctc tenorflows аргумент для kenlm отсутствует. Как мы можем интегрировать kenlm в эту функцию?
05 май '17 в 06:26
1
ответ
Как связать оценку языковой модели всего предложения с оценкой составляющих предложения
Я обучил языковой модели KENLM около 5000 английских предложений / параграфов. Я хочу запросить эту модель ARPA с двумя или более сегментами и посмотреть, можно ли их объединить, чтобы сформировать более длинное предложение, возможно, более "граммат…
02 апр '18 в 04:17
0
ответов
При загрузке языковой модели KenLM для подсчета предложений размер файла LM должен быть меньше размера ОЗУ?
При загрузке языковой модели для оценки предложения должен ли размер файлов LM('bible.klm') быть меньше размера ОЗУ? import kenlm model = kenlm.LanguageModel('bible.klm') model.score('in the beginning was the word')
18 апр '17 в 07:48
3
ответа
Как вычислить растерянность, используя KenLM?
Допустим, мы строим модель на этом: $ wget https://gist.githubusercontent.com/alvations/1c1b388456dc3760ffb487ce950712ac/raw/86cdf7de279a2b9bceeb3adb481e42691d12fbba/something.txt $ lmplz -o 5 < something.txt > something.arpa Из формулы недоум…
08 май '17 в 06:52
1
ответ
Невозможно установить пакет kenlm в среде anaconda
При попытке установить оболочку Python для kenlm из pip в среде anaconda я получаю сообщение об ошибке: (lm_1b) adamg:lm_1b adamg$ pip install https://github.com/kpu/kenlm/archive/master.zip Collecting https://github.com/kpu/kenlm/archive/master.zip…
30 авг '18 в 17:21
1
ответ
Установка пакета Python из исходного кода с помощью Microsoft Visual Build Tools 2017
У меня есть пакет Python, который не удается установить из-за зависимости от средств сборки Windows. Вещи, которые я пробовал: Установите последнюю версию Visual Studio 2017 (AFAIK должен содержать Microsoft Visual C++ 14.0). Установите инструменты …
26 мар '18 в 18:25
0
ответов
Объект kenlm.Model не имеет атрибута "оценка" при работе в облаке Google ML
AttributeError: у объекта "kenlm.Model" нет атрибута "оценка" >>> model = kenlm.Model('LM/en.europarl-nc.lm') >>> model.score('This is a test') Traceback (most recent call last): File "<stdin>", line 1, in <module> Attr…
25 май '17 в 11:15
0
ответов
Использовать анаконду 2 после обновления анаконды 3
Я пытаюсь сделать pip install внутри анаконды, то есть с активированной средой. Когда я ранее установил пакет с Anaconda 2, он работал нормально. Когда я делаю ту же установку с anaconda 3, я получаю сообщение об ошибке, приведенное ниже. Есть ли сп…
13 авг '18 в 16:25
0
ответов
Как предсказать следующее / пропущенное слово в последовательности слов, используя модель языка KenLM
Я создал файл.arpa и.binary из своего учебного корпуса. Теперь, как я могу использовать их, чтобы предсказать следующее / пропущенное слово в последовательности. На данный момент я могу использовать запрос только для просмотра оценки последовательно…
15 май '18 в 10:45
0
ответов
ТензорФлоу и КенЛМ
Как можно использовать KenLM с tensorflow как декодер? Я знаю о tensorflow-with-kenlm tf fork, но он основан на версии 1.1 tf, которая не имеет многих важных функций для моего проекта.
09 апр '18 в 09:39
2
ответа
Python: ошибка установки KenLM
Я устанавливаю KenLM на Python2.7 в Windows 7 64 бит с помощью следующей команды: pip install https://github.com/kpu/kenlm/archive/master.zip Сообщение об ошибке: C:\Python27\Scripts>pip install https://github.com/kpu/kenlm/archive/master.zip Col…
30 июл '17 в 05:50
0
ответов
Использование униграммной модели в оболочке KenLM Python
Я пытаюсь использовать unigram arpa файл для создания kenlm Model в оболочке Python. Однако я получаю следующую ошибку: Loading the LM will be faster if you build a binary file. Reading /home/ubuntu/lm_1b/lm_1b/preprocessed_data/lm1b-1gram.tsv ----5…
09 авг '18 в 19:22
0
ответов
Различные <s></ s><УНК> вероятности между kenlm и berkeleylm
Я строю модель языка ngram, используя kenlm и berkeleylm, но они дают токену очень различную вероятность. Кенлм дает: ngram 1=164482 ngram 2=4355352 ngram 3=15629476 \1-grams: -6.701107 <unk> 0 0 <s> -1.9270477 -1.8337007 </s> 0 в …
19 апр '19 в 11:55
1
ответ
Оценка языка в Kenlm с помощью Java в Windows
Я на полпути через проект Java, использующий файл.arpa для извлечения n-граммных вероятностей. В идеале я хотел бы использовать файл.klm (созданный с использованием файла.arpa), подобный следующему: model = kenlm.LanguageModel('languageModel.klm') m…
12 мар '19 в 21:07
0
ответов
Toolchain.cmake для кросс-компиляции kenlm для Android
Я пытаюсь сделать двоичные файлы kenlm пригодными для использования на Android. Kenlm написан на C++ и использует cmake, поэтому я попытался создать файл инструментальной цепочки для кросс-компиляции с cmake. Мой файл инструментальной цепочки выгляд…
20 май '20 в 21:00
1
ответ
Скомпилировать bzip2 для Android?
Я пытаюсь кросскомпилировать Kenlm для Android из ubuntu 18.04. Для этого мне нужно сначала скомпилировать все его зависимости. Мне удалось собрать boost для Android, но я не знаю, как это сделать с помощью bzip2. Когда я использую cmake для кросс-к…
27 май '20 в 18:37
0
ответов
Можно ли использовать набор инструментов языковой модели KenLM для другого языка, кроме английского, или он доступен только для английского?
Мне нужно использовать этот https://github.com/kpu/kenlm для реализации https://github.com/fangleai/Implicit-LVM для языка, отличного от английского. Это сработает?
19 ноя '20 в 09:55
1
ответ
Как я могу использовать kenlm для проверки выравнивания слов в предложении?
Я видел много блогов, в которых говорилось, что языковые модели можно использовать для множества задач, но я не могу найти никаких хороших реализаций, кроме генерации текста. Мой вопрос: как я могу использовать языковую модель, такую как kenlm, дл…
30 сен '20 в 09:55
3
ответа
Настройте kenlm для Windows
Официальный сайт ясно дает понять, что нет поддержки kenlmв Windows. В репозитории github есть тег Windows, но, похоже, он тут же поддерживается несколькими случайными участниками. Как тогда настроить kenlm для Windows?
27 фев '21 в 19:08
1
ответ
Почему модель Kenlm lm продолжает давать одинаковые оценки для разных слов?
Почему модель Kenlm возвращает одни и те же значения? Я также пробовал это с 4-граммовым файлом arpa. та же проблема. import kenlm model = kenlm.mode('lm/test.arpa') # unigram model. print( [f'{x[0]:.2f}, {x[1]}, {x[2]}' for x in model.full_scores('…
08 сен '21 в 22:42