Elasticsearch Soundex Match Query - NEST
Кто-нибудь может подумать, почему это может не сработать? В основном у меня есть два поля, которые я индексирую с помощью анализатора soundex, см. Конфигурацию ниже, но когда я ищу по именам, похожим на то, что хранится в индексе, это не работает.
anz.Custom("soundex_analyzer", dma => dma
.Tokenizer("keyword")
.Filters("lowercase", "icu_folding", "soundex_filter"));
tk.Phonetic("soundex_filter", ph => ph.Encoder(PhoneticEncoder.RefinedSoundex).Replace(false));
[String(Name = "surnameSoundex", Index = FieldIndexOption.Analyzed, Analyzer = "soundex_analyzer")]
public string SurnameSoundex { get; set; }
[String(Name = "forenameSoundex", Index = FieldIndexOption.Analyzed, Analyzer = "soundex_analyzer")]
public string ForenameSoundex { get; set; }
if (string.IsNullOrEmpty(oReq.person.ForenameSoundex) || oReq.person.ForenameSoundex.Length < 3)
{
_qc = _qd.Match(mt => mt.Field(fld => fld.SurnameSoundex).Query(oReq.person.SurnameSoundex));
_AndQueries.Add(_qc);
_qc = null;
}
else
{
//search on surname and combination of forename and surname
_qc = _qd.Match(mt => mt.Field(fld => fld.SurnameSoundex).Query(oReq.person.SurnameSoundex))
|| _qd.Match(mt => mt.Field(fld => fld.SurnameSoundex).Query(oReq.person.SurnameSoundex))
&& _qd.Match(mt => mt.Field(fld => fld.ForenameSoundex).Query(oReq.person.ForenameSoundex));
_AndQueries.Add(_qc);
_qc = null;
}
В построении запроса нет ничего плохого, так как я проверил это, но в основном эти запросы передаются в список Query Container и превращаются в массив, который может быть передан в запрос bool.
Я не был уверен, что не могу использовать ключевое слово tokenizer с этим анализатором.
Заранее спасибо!
РЕДАКТИРОВАТЬ:
В общем, у меня есть класс person с определенными моими атрибутами POCO:
[ElasticsearchType(Name = "person", IdProperty = "id")]
public class Person
{
[String(Name = "id", Index = FieldIndexOption.NotAnalyzed)]
public string id { get; set; }
[String(Name = "forename", Index = FieldIndexOption.Analyzed, Analyzer = "low_whit_analyzer", SearchAnalyzer = "low_whit_analyzer")]
public string forename { get; set; }
[String(Name = "forenameSoundex", Index = FieldIndexOption.Analyzed, Analyzer = "soundex_analyzer", SearchAnalyzer = "soundex_analyzer")]
public string forenameSoundex { get; set; }
[String(Name = "surname", Index = FieldIndexOption.Analyzed, Analyzer = "low_whit_analyzer", SearchAnalyzer = "low_whit_analyzer")]
public string surname { get; set; }
[String(Name = "surnameSoundex", Index = FieldIndexOption.Analyzed, Analyzer = "soundex_analyzer", SearchAnalyzer = "soundex_analyzer")]
public string surnameSoundex { get; set; }
[Date(Name = "dob", Index = NonStringIndexOption.NotAnalyzed, Format = "date_optional_time")]
public DateTime dob { get; set; }
[String(Name = "postCode1", Index = FieldIndexOption.Analyzed, Analyzer = "keyword_analyzer", NullValue = null)]
public string postCode1 { get; set; }
[String(Name = "postCode2", Index = FieldIndexOption.Analyzed, Analyzer = "keyword_analyzer", NullValue = null)]
public string postCode2 { get; set; }
[String(Name = "identifier", Index = FieldIndexOption.Analyzed, Analyzer = "low_whit_analyzer", NullValue = null)]
public string identifier { get; set; }
[String(Name = "email", Index = FieldIndexOption.Analyzed, Analyzer = "keyword_analyzer", NullValue = null)]
public string email { get; set; }
[String(Name = "mobile", Index = FieldIndexOption.Analyzed, Analyzer = "low_whit_analyzer", NullValue = null)]
public string mobile { get; set; }
[String(Name = "gender", Index = FieldIndexOption.Analyzed, Analyzer = "keyword_analyzer")]
public string gender { get; set; }
[String(Name = "notes", Index = FieldIndexOption.NotAnalyzed)]
public string notes { get; set; }
[String(Name = "address1", Index = FieldIndexOption.NotAnalyzed, NullValue = null)]
public string address1 { get; set; }
[String(Name = "address2", Index = FieldIndexOption.NotAnalyzed, NullValue = null)]
public string address2 { get; set; }
[String(Name = "personalReferenceId", Index = FieldIndexOption.Analyzed, Analyzer = "low_whit_analyzer")]
public string personalReferenceId { get; set; }
}
Затем я создаю индекс, используя следующий код:
Uri eSAddress = new Uri(ConfigurationManager.AppSettings["ElasticSearchUrl"]);
_clientSettings = new ConnectionSettings(eSAddress)
.MapDefaultTypeIndices(i => i.Add(typeof(Person), "people"));
_client = new ElasticClient(_clientSettings);
var oRequest = new IndexExistsRequest("people");
var bIndexExists = _client.IndexExists(oRequest);
if (bIndexExists.Exists == false)
{
var oIndexResponse = _client.CreateIndex("people", c => c
.Settings(st => st
.RefreshInterval(-1)
.Translog((ts) => SetupTranslogSettings(ts))
.NumberOfShards(1)
.NumberOfReplicas(0)
.Analysis(an => an
.TokenFilters((tf) => SetUpFilters(tf))
.Analyzers((anz) => SetUpAnalyzers(anz)
)))
.Mappings(mp => mp.Map<Person>(m => m
.AutoMap()
.AllField(al => al.Enabled(false)))));
Затем я использую logstash для импорта моих записей из базы данных, используя следующую конфигурацию:
statement => "SELECT IGF_UID AS id, IGF_FORENAME AS forename, IGF_SURNAME AS surname, IGF_FORENAME AS forenameSoundex, IGF_SURNAME AS surnameSoundex,
IGF_DATE_OF_BIRTH AS dob, IGF_POSTCODE1 AS postCode1, IGF_POSTCODE2 AS postCode2, IGF_NHS_NUMBER AS identifier, IGF_EMAIL AS email,
IGF_MOBILE AS mobile, (CASE IGF_SEX
WHEN 'male' THEN 'm'
WHEN 'female' THEN 'f'
WHEN 'transgender' THEN 't'
WHEN 'unknown' THEN 'u'
WHEN '' THEN NULL
ELSE IGF_SEX
END) AS gender, IGF_ADDRESS1 AS address1, IGF_ADDRESS2 AS address2 FROM dbo.IGT_PEOPLE"
}
}
filter {
mutate {
remove_field => [ "@timestamp", "@version" ]
}
}
output {
elasticsearch {
hosts => "localhost"
index => "people"
document_type => "person"
document_id => "%{id}"
manage_template => false
template_overwrite => false
}
}
Мои анализаторы включены ниже - обратите внимание, что я изменил фильтр двойных метафонов:
public static void AddSoundexAnalyzer(ref AnalyzersDescriptor anz)
{
anz.Custom("soundex_analyzer", dma => dma
.Tokenizer("keyword")
.Filters("soundex_filter"));
}
public static void AddSoundexFilter(ref TokenFiltersDescriptor tk)
{
tk.Phonetic("soundex_filter", ph => ph.Encoder(PhoneticEncoder.DoubleMetaphone).Replace(true));
}
Затем я выполняю запрос, используя bool-запрос с запросом в пределах обязательного, поэтому должен соответствовать хотя бы одному запросу.
public SearchDescriptor<Person> FuzzySearch(PersonSearchRequest oReq)
{
var oPerson = oReq.person;
var oSearchParams = oReq.searchParams;
_s = new SearchDescriptor<Person>();
_b = new BoolQueryDescriptor<Person>();
_AndQueries = new List<QueryContainer>();
_OrQueries = new List<QueryContainer>();
GetNameSearchClauses(oReq, ref _OrQueries, ref _AndQueries);
if (_OrQueries.Count > 0 || _AndQueries.Count > 0)
{
_b.Should(_OrQueries.ToArray());
_b.Must(_AndQueries.ToArray());
return _s.Query(qu => qu.Bool((z) => _b)).Sort(srt => srt.Descending(SortSpecialField.Score));
}
else
{
return null;
}
}
Затем мои запросы forenameSoundex и surnameSoundex создаются следующим способом:
public void GetNameSearchClauses(PersonSearchRequest oReq, ref List<QueryContainer> _OrQueries, ref List<QueryContainer> _AndQueries)
{
if (oReq.searchParams.useSoundex == true && oReq.person.surnameSoundex.Length > 3)//use different analyzers
{
if (!string.IsNullOrEmpty(oReq.person.surnameSoundex))
{//check if clause is null
//if no first name then just search on surname
if (string.IsNullOrEmpty(oReq.person.forenameSoundex) || oReq.person.forenameSoundex.Length < 3)
{
_qc = _qd.Match(mt => mt.Field(fld => fld.surnameSoundex).Query(oReq.person.surnameSoundex));
_AndQueries.Add(_qc);
_qc = null;
}
else
{
//search on surname and combination of forename and surname
_qc = _qd.Match(mt => mt.Field(fld => fld.surnameSoundex).Query(oReq.person.surnameSoundex))
|| _qd.Match(mt => mt.Field(fld => fld.surnameSoundex).Query(oReq.person.surnameSoundex))
&& _qd.Match(mt => mt.Field(fld => fld.forenameSoundex).Query(oReq.person.forenameSoundex));
_AndQueries.Add(_qc);
_qc = null;
}
}
}
}
1 ответ
Решение
Проблема заключалась в том, что при использовании плагина jdbc для logstash он автоматически вводил имена столбцов в нижнем регистре. Поэтому в моем выражении sql, когда я создавал псевдоним для сопоставления непосредственно с именем поля asticsearch, он затем преобразовывался в нижний регистр при прохождении через logstash.
Мой конфиг jdbc нуждался в следующей строке: lowercase_column_names => false