Замена слов при обработке документов перед токенизацией в Rapidminer

Question

У меня есть набор документов, и я хотел бы заменить некоторые наборы слов одним словом перед токенизацией.

ех. "продолжение" -> продолжение,

 "Set up" --> Setup and 

  "with out" --> without

Я попытался использовать Replace(словарь), загрузив CSV-файл с потенциальными словами. Но не могу токенизировать после.

Как мне это сделать?

Спасибо,

Аджи

Answer 1

Взгляните на Stem (словарь). это может быть неправильно использовано, чтобы сделать трюк.

Ура, Мартин