Mecab - это токенизатор и морфологический анализатор с открытым исходным кодом для японского языка, реализованный на C++.

Mecab использует вероятностный подход для разделения японского ввода на токены (морфемы или слова, в зависимости от основного словаря). Он также выполняет теги POS (части речи).

Страница проекта: https://github.com/taku910/mecab