CRFSuite, сколько тренировочных данных?

Question

Привет, я тренирую CRF, используя crfsuite, с некоторыми примерами данных, которые у меня есть, используя латинский текст. Я пометил данные тренировки с O, ЧЕЛОВЕК и МЕСТО. Когда я тестирую мою обученную модель, я все предсказываю как О. Я подозреваю, что это потому, что у меня недостаточно данных для тренировки. Моя тренировка основана на 3760 байтах. (Я знаю, что это немного!- это заставит CRF не работать?)

    def word2features2(sent, i):
    word = sent[i][1] #getting the word token
    #a dict of features per word
    features = [
        #features of current token
        'bias',
        'word.lower=' + word.lower(),
        'word[-3:]=' + word[-3:], #substrings
        'word[-2:]=' + word[-2:],
        'word.isupper=%s' % word.isupper(),
        'word.istitle=%s' % word.istitle(),
        'word.isdigit=%s' % word.isdigit()
    ]
    if i > 0: #if the sentence is composed of more than one word
        word1 = sent[i-1][1] #get features of previous word
        features.extend([
            '-1:word.lower=' + word1.lower(),
            '-1:word.istitle=%s' % word1.istitle(),
            '-1:word.isupper=%s' % word1.isupper()
        ])
    else:
        features.append('BOS') #in case it is the first word in the sentence - Beginning of Sentence

    if i < len(sent)-1: #if the end of the sentence is not reached
        word1 = sent[i+1][1] #get the features of the next word
        features.extend([
            '+1:word.lower=' + word1.lower(),
            '+1:word.istitle=%s' % word1.istitle(),
            '+1:word.isupper=%s' % word1.isupper()
        ])
    else:
        features.append('EOS') #in case it is the last word in the sentence - End of Sentence

    return features

    #each sentence is passed through the feature functions
def get_features(sent):
    return [word2features2(sent, i) for i in range(len(sent))]

    #get the POS/NER tags for each token in a sentence
def get_tags(sent):
    return [tag for tag, token in sent]

X_train = [get_features(s) for s in TRAIN_DATA]
y_train = [get_tags(s) for s in TRAIN_DATA]

    crf = sklearn_crfsuite.CRF(
    algorithm='lbfgs', 
    c1=0.1,
    c2=0.1,
    all_possible_transitions=False
    )

    crf.fit(X_train, y_train)

    text4 = 'Azar Nifusi Judeus de civitate Malte presens etc. non vi sed sponte etc. incabellavit et ad cabellam habere concessit ac dedit, tradidit et assignavit Nicolao Delia et Lemo suo filio presentibus etc. terras ipsius Azar vocatas Ta Xellule et Ginen Chagem in contrata Deyr Issafisaf cum iuribus suis omnibus <etc.> pro annis decem continuo sequturis numerandis a medietate mensis Augusti primo preteriti in antea pro salmis octo frumenti <sue> pro qualibet ayra provenientibus ex dictis terris \ad racionem, videlicet, de salmis sexdecim/ quas salmas octo frumenti in qualibet ayra \dicti cabelloti/ promiserunt dare et assignare prefato <Nicol.> Azar et eciam dicti cabelloti anno quolibet promiserunt et tenentur eidem Azar dare et deferre cum eiusdem Azar somerio salmas decem spinarum ac eciam prefat cabelloti promiserunt eidem Azar in qualibet ayra provenient[ium] ex dictis terris dare duas salmas palie in ayra et dictus <cabellotus promisit> Azar promisit eisdem cabellotis suis non spoliantur de dicta cabella neque via alienacionis neque alia quavis via [f. 5v / p. 8] et eciam promisit suis expensis dictas terras circumdare muro et dicti cabellotis tenentur in medio ipsius dicte ingabellationis dare \dicto Azar pro causa predicta/ dimidiam salmam frumenti et eciam promisit durantibus dictis annis decem dictas terras non reincabellare alicui persone et eciam tenentur revidere et curatareb ad circumfaciendas dictas terras \muro/ ad expensas tamen dicti Judei. Que omnia etc. Promiserunt etc. Obligando etc. Renunciando etc. Unde etc.'

    y_pred = crf.predict(text4)

Answer 1

Ну, так же, как и с любой моделью машинного обучения, очень маленький тренировочный набор приведет к недостаточному оснащению. Это может быть то, что здесь происходит. Хотя все предсказанное одно и то же значение подсказывает мне некоторую ошибку в самом коде.

def get_features(sent):
    return [word2features2(sent, i) for i in range(len(sent))]

X_train = [get_features(s) for s in TRAIN_DATA]

Итак, здесь похоже, что вы передаете длину каждого слова как "i" в вашей функции word2features2. Я думаю, что вы, вероятно, хотите передать предложение в виде списка слов, поэтому попробуйте

def get_features(sent):
    word_list = sent.split(" ")
    return [word2features2(word_list, i) for i in range(len(sent))]

Я предполагаю, что ваши тренировочные данные - это список предложений в данном случае, а не список слов вроде

train_data = ['this is a sentence', 'this is also a sentence'] <= yours
train_data = [['this','is','a','sentence'],['this','is','also','a','sentence]] <= not yours

Честно говоря, я не знаю, как выглядят ваши тренировочные данные, поэтому

word = sent[i][1]

Линия также выглядит немного подозрительно.