Как объединить три файла Conllu с библиотекой Conllu python?

Question

Я впервые работаю с файлами conllu. Я не могу найти способ объединить эти файлы в библиотеке Py thon Conllu. Любые зацепки были бы полезны. Спасибо.

Answer 1

Каждый раз, когда вы вызываете parse(), вы получаете обратно список TokenLists. Таким образом, объединение нескольких файлов может быть выполнено путем объединения этих списков токенов.

Пример:

from io import open
from conllu import parse_incr

files = ["file1.conllu", "file2.conllu", "file3.conllu"]

merged_tokenlists = []
for file in files:
    data_file = open("file1.conllu", "r", encoding="utf-8")
    for tokenlist in parse_incr(data_file):
        merged_tokenlists.append(tokenlist)

Автор библиотеки conllu, рад видеть, что люди ее используют!