Как токенизация на английском с помощью Stanza

Question

text = "XXXXXX，XXXX “XX” ， XXXXX 50 XX 、 XXXXXXXXX、XXXXXXXXXXXXXXXXXXX"

zh_nlp = stanza.Pipeline('zh')
doc = zh_nlp(text)

for sent in doc.sentences:
  print("Tokenize:" + ' '.join(token.text for token in sent.tokens))

строфа может разделять текст, если он введен на китайском языке (китайский язык сильно зависит от токенизации и сегментации предложений). Он выводит следующее. Это примерно так.

Tokenize:XXX XX X ， X X XX “ XX ” ， X X X XX 50 X X 、 XXX XXXX XX 、 X X XX XX X XX XX XX X XX XX X 。

Если вывод на английском языке, он разделяется английским пространством слова.

text = "Hong Kong"

en_nlp = stanza.Pipeline('en')
doc = en_nlp(text)

for sent in doc.sentences:
  for Tokenize in sent.tokens:
    print(Tokenize)

Например, если программа ввода - "Гонконг", результат будет выглядеть следующим образом.

[
  {
    "id": 1,
    "text": "Hong",
    .......
  }
]
[
  {
    "id": 2,
    "text": "Kong",
    .......
  }
]