Многоязычный полный текст: Какой язык [Snowball] следует использовать?
Какой язык я должен использовать, если я хочу поддерживать полнотекстовый поиск на всех языках. Насколько я знаю, индекс нужно создавать с использованием этого конкретного языка stemming для поддержки поиска по этому языку, но это невозможно для меня, так как моя поисковая программа может содержать разные языки
- Маной
1 ответ
Стемминг не является концепцией, применимой ко всем языкам. Это, например, не применимо на китайском языке. Но для языков индоевропейской группы (и большинство тех, кто на сайте Snowball относится к индоевропейским языкам), существует общая структура слов. Предполагая, что слова пишутся слева направо, основа или корень слова находятся слева, а справа или справа могут быть добавлены ноль или более суффиксов. Если корень изменен этим процессом, он обычно будет на правом конце. А также префиксы могут быть добавлены слева.
@Resource: сайт Snowball