Как получить термин-вектор при использовании плагина ingest в ElasticSearch 5.5?

Question

Все,

У меня есть следующий код для индексации файла с помощью плагина ingest в asticsearch

public class Document
{
  public string Id { get; set; }
  public string Content { get; set; }
  public Attachment Attachment { get; set; }
}

var indexResponse = client.CreateIndex("documents", c => c
  .Settings(s => s
    .Analysis(a => a
     .TokenFilters(f=>f.Stemmer("english_stem",st=>st.Language("english")).Stop("english_stop",sp=>sp.StopWords("_english_")))
     .CharFilters(cf => cf.PatternReplace("num_filter", nf => nf.Pattern("(\\d+)").Replacement(" ")))                
     .Analyzers(an => an.Custom("tm_analyzer", ta => ta.CharFilters("num_filter").Tokenizer("standard").Filters("english_stem","english_stop","lowercase")))))
  .Mappings(m => m
             .Map<Document>(mm => mm
              .AllField(al=>al.Enabled(false))
              .Properties(p => p                 
               .Object<Attachment>(o=>o
                .Name(n=>n.Attachment)
                .Properties(ps=>ps
                 .Text(s => s
                  .Name(nm => nm.Content)
                  .TermVector(TermVectorOption.Yes)
                  .Store(true)
                  .Analyzer("tm_analyzer")))))));

client.PutPipeline("attachments", p => p
  .Description("Document attachment pipeline")
  .Processors(pr => pr
    .Attachment<Document>(a => a
      .Field(f => f.Content)
      .TargetField(f => f.Attachment)
    )
    .Remove<Document>(r => r
      .Field(f => f.Content)
    )
  )
);

var base64File = Convert.ToBase64String(File.ReadAllBytes("file1.xml"));
client.Index(new Document
{
  Id = "file1.xml", 
  Content = base64File
}, i => i.Pipeline("attachments"));

Как вы можете видеть, я установил termvector otpion на yes в поле Content. Но когда я запрашиваю как ниже, используя почтальон или в C# Nest, я ничего не получаю

POST /documents/document/_mtermvectors
{
    "ids" : ["1.xml"],
    "parameters": {
        "fields": [
                "content"
        ],
        "term_statistics": true
    }
}

Есть идеи, что я делаю не так? Спасибо за помощь!

Answer 1

Вы удаляете content поле в процессоре Inge здесь

.Remove<Document>(r => r
  .Field(f => f.Content)
)

Это, вероятно, то, что вы хотите, потому что он будет содержать вложение в кодировке base64. Я думаю, что ваш вызов API должен смотреть на attachment.content поле, которое будет содержать извлеченный контент из вложения

POST /documents/document/_mtermvectors
{
    "ids" : ["1.xml"],
    "parameters": {
        "fields": [
            "attachment.content"
        ],
        "term_statistics": true
    }
}