Как искать часть слова с ElasticSearch
Я недавно начал использовать ElasticSearch, и я не могу заставить его искать часть слова.
Пример: у меня есть три документа из моего couchdb, проиндексированных в ElasticSearch:
{
"_id" : "1",
"name" : "John Doeman",
"function" : "Janitor"
}
{
"_id" : "2",
"name" : "Jane Doewoman",
"function" : "Teacher"
}
{
"_id" : "3",
"name" : "Jimmy Jackal",
"function" : "Student"
}
Итак, теперь я хочу найти все документы, содержащие "Доу"
curl http://localhost:9200/my_idx/my_type/_search?q=Doe
Это не возвращает никаких хитов. Но если я ищу
curl http://localhost:9200/my_idx/my_type/_search?q=Doeman
Он возвращает один документ (Джон Доуман).
Я попытался установить разные анализаторы и разные фильтры в качестве свойств моего индекса. Я также попытался использовать полный запрос (например:
{
"query": {
"term": {
"name": "Doe"
}
}
}
) Но, похоже, ничего не работает.
Как я могу заставить ElasticSearch найти и Джона Доумана, и Джейн Доуоман, когда я ищу "Доу"?
ОБНОВИТЬ
Я попытался использовать токенайзер и фильтр nGram, как предложил Игорь, вот так:
{
"index": {
"index": "my_idx",
"type": "my_type",
"bulk_size": "100",
"bulk_timeout": "10ms",
"analysis": {
"analyzer": {
"my_analyzer": {
"type": "custom",
"tokenizer": "my_ngram_tokenizer",
"filter": [
"my_ngram_filter"
]
}
},
"filter": {
"my_ngram_filter": {
"type": "nGram",
"min_gram": 1,
"max_gram": 1
}
},
"tokenizer": {
"my_ngram_tokenizer": {
"type": "nGram",
"min_gram": 1,
"max_gram": 1
}
}
}
}
}
Проблема, которую я имею сейчас, состоит в том, что каждый запрос возвращает ВСЕ документы. Есть указатели? Документация ElasticSearch по использованию nGram не велика...
12 ответов
Я тоже использую nGram. Я использую стандартный токенизатор и nGram как фильтр. Вот моя установка:
{
"index": {
"index": "my_idx",
"type": "my_type",
"analysis": {
"index_analyzer": {
"my_index_analyzer": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"lowercase",
"mynGram"
]
}
},
"search_analyzer": {
"my_search_analyzer": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"standard",
"lowercase",
"mynGram"
]
}
},
"filter": {
"mynGram": {
"type": "nGram",
"min_gram": 2,
"max_gram": 50
}
}
}
}
}
Давайте найдем части слова до 50 букв. Настройте max_gram, как вам нужно. По-немецки слова могут стать действительно большими, поэтому я установил их на высокое значение.
Я думаю, что нет необходимости менять отображение. Попробуйте использовать query_string, это идеально. Все сценарии будут работать со стандартным анализатором по умолчанию:
У нас есть данные:
{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
{"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}
Сценарий 1:
{"query": {
"query_string" : {"default_field" : "name", "query" : "*Doe*"}
} }
Отклик:
{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
{"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}
Сценарий 2:
{"query": {
"query_string" : {"default_field" : "name", "query" : "*Jan*"}
} }
Отклик:
{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
Сценарий 3:
{"query": {
"query_string" : {"default_field" : "name", "query" : "*oh* *oe*"}
} }
Отклик:
{"_id" : "1","name" : "John Doeman","function" : "Janitor"}
{"_id" : "2","name" : "Jane Doewoman","function" : "Teacher"}
РЕДАКТИРОВАТЬ - та же реализация с упругим поиском данных весны /questions/37166088/kak-iskat-chast-slova-s-pruzhinnyimi-dannyimi-uprugogo-poiska/37166099#37166099
Еще одно объяснение, как query_string лучше, чем другие /questions/32613988/elastichnyij-poisk-raznitsa-mezhdu-terminom-sootvetstviem-fraze-i-strokoj-zaprosa/32613995#32613995
Поиск с ведущими и конечными символами подстановки будет очень медленным для большого индекса. Если вы хотите иметь возможность поиска по префиксу слова, удалите подстановочный знак. Если вам действительно нужно найти подстроку в середине слова, вам лучше использовать ngram tokenizer.
Без изменения отображений индекса вы можете выполнить простой префиксный запрос, который будет выполнять частичный поиск, как вы и надеялись
то есть.
{
"query": {
"prefix" : { "name" : "Doe" }
}
}
https://www.elastic.co/guide/en/elasticsearch/reference/current/query-dsl-prefix-query.html
Хотя есть много ответов, которые сосредоточены на решении рассматриваемой проблемы, но не говорят много о различных компромиссах, которые нужно сделать, прежде чем выбрать конкретный ответ. Итак, позвольте мне попытаться добавить еще несколько деталей по этому поводу.
Частичный поиск в настоящее время является очень распространенной и важной функцией, и, если она не реализована должным образом, может привести к плохому взаимодействию с пользователем и плохой производительности , поэтому сначала узнайте функции вашего приложения и нефункциональные требования, связанные с этой функцией, о которых я говорил в своем подробном ТАК ответ .
Теперь существуют различные подходы, такие как время запроса, время индексации, подсказчик завершения и поиск по мере ввода типов данных, добавленных в последней версии elasticsarch.
Теперь люди, которые хотят быстро реализовать решение, могут использовать непрерывное рабочее решение.
Отображение индекса
{
"settings": {
"analysis": {
"filter": {
"autocomplete_filter": {
"type": "ngram",
"min_gram": 1,
"max_gram": 10
}
},
"analyzer": {
"autocomplete": {
"type": "custom",
"tokenizer": "standard",
"filter": [
"lowercase",
"autocomplete_filter"
]
}
}
},
"index.max_ngram_diff" : 10
},
"mappings": {
"properties": {
"title": {
"type": "text",
"analyzer": "autocomplete",
"search_analyzer": "standard"
}
}
}
}
Индексируйте данные образцы документов
{
"title" : "John Doeman"
}
{
"title" : "Jane Doewoman"
}
{
"title" : "Jimmy Jackal"
}
И поисковый запрос
{
"query": {
"match": {
"title": "Doe"
}
}
}
который возвращает ожидаемые результаты поиска
"hits": [
{
"_index": "6467067",
"_type": "_doc",
"_id": "1",
"_score": 0.76718915,
"_source": {
"title": "John Doeman"
}
},
{
"_index": "6467067",
"_type": "_doc",
"_id": "2",
"_score": 0.76718915,
"_source": {
"title": "Jane Doewoman"
}
}
]
Попробуйте решение, описанное здесь: Точные поиски подстроки в ElasticSearch
{
"mappings": {
"my_type": {
"index_analyzer":"index_ngram",
"search_analyzer":"search_ngram"
}
},
"settings": {
"analysis": {
"filter": {
"ngram_filter": {
"type": "ngram",
"min_gram": 3,
"max_gram": 8
}
},
"analyzer": {
"index_ngram": {
"type": "custom",
"tokenizer": "keyword",
"filter": [ "ngram_filter", "lowercase" ]
},
"search_ngram": {
"type": "custom",
"tokenizer": "keyword",
"filter": "lowercase"
}
}
}
}
}
Для решения проблемы использования диска и проблемы слишком длинных поисковых терминов используются короткие нграммы длиной 8 символов (настроенные с помощью: "max_gram": 8). Чтобы выполнить поиск по терминам, содержащим более 8 символов, включите поиск в логический запрос AND для поиска каждой отдельной 8-символьной подстроки в этой строке. Например, если пользователь искал большой ярд (строка из 10 символов), поиск будет:
"Arge Ya и Arge YAR И RGE ярд.
Я использую это, и я работал
"query": { "query_string" : { "query" : "*test*", "fields" : ["field1","field2"], "analyze_wildcard" : true, "allow_leading_wildcard": true } }
Если вы хотите реализовать функцию автозаполнения, то Completion Suggester является наиболее подходящим решением. Следующий пост в блоге содержит очень четкое описание того, как это работает.
В двух словах, это структура данных в памяти, называемая FST, которая содержит действительные предложения и оптимизирована для быстрого поиска и использования памяти. По сути, это просто график. Например, и FST, содержащий слова hotel, marriot, mercure, munchen а также munich будет выглядеть так:
Вы можете использовать регулярное выражение.
{ "_id" : "1", "name" : "John Doeman" , "function" : "Janitor"}
{ "_id" : "2", "name" : "Jane Doewoman","function" : "Teacher" }
{ "_id" : "3", "name" : "Jimmy Jackal" ,"function" : "Student" }
если вы используете этот запрос:
{
"query": {
"regexp": {
"name": "J.*"
}
}
}
Вам будут даны все данные, имена которых начинаются с "J". Рассмотрите, хотите ли вы получить только первые две записи, которые заканчиваются на "man", так что вы можете использовать этот запрос:
{
"query": {
"regexp": {
"name": ".*man"
}
}
}
и если вы хотите получить все записи, которые в их названии существуют "m", вы можете использовать этот запрос:
{
"query": {
"regexp": {
"name": ".*m.*"
}
}
}
Это работает для меня. И я надеюсь, что мой ответ подойдет для решения вашей проблемы.
Elasticsearch имеет подстановочный запрос, который может быть использован в этом случае и является самым простым. Он вернет оба соответствующих документа
Не берите в голову.
Я должен был посмотреть на документацию Lucene. Кажется, я могу использовать подстановочные знаки!:-)
curl http://localhost:9200/my_idx/my_type/_search?q=*Doe*
делает трюк!