Как анализировать текст HTML с составными словами

Я пишу поисковую службу на основе Elasticsearch для нескольких сайтов с контентом, написанным на агглютинирующих языках, таких как шведский, немецкий и финский.

Я знаю, что Elasticsearch предлагает языковые анализаторы по умолчанию, но после некоторого тестирования я обнаружил, что их поддержка в лучшем случае небрежна.

Что я получил так далеко, это:

{
  "settings":{
    "analysis":{
      "filter":{
        "swedish_stop":{
          "type": "stop",
          "stopwords": "_swedish_"
        },
        "swedish_stemmer":{
          "type":"stemmer",
          "language":"swedish"
        },
        "swedish_words":{
          "type":"dictionary_decompounder",
          "word_list":["very", "long", "list", "of", "words", "almost", "13", "MB"]
        }
      },
      "analyzer":{
        "custom_swedish":{
          "tokenizer": "standard",
          "filter":[
            "lowercase",
            "swedish_stop",
            "swedish_stemmer",
            "swedish_words"
          ],
          "char_filter":[
            "html_strip"
          ]
        }
      }
    }
  }
}

Ребята, у вас есть подсказка?

0 ответов

Другие вопросы по тегам