Обучение CRF без границ предложения

Question

Обучение CRF без границ предложения

Мне нужно пометить части текста в документе HTML. Тем не менее, он в основном состоит из текста в виде дат, названий компаний, адресов и т. Д. Я планирую использовать CRF (sklearn-crfsuite)

Моя проблема в том, что сложно разбить набор данных на предложения. Можем ли мы обучить модель CRF без границ предложения, рассматривая все как одну последовательность? Обучающие программы в CRFSuite или sklearn-crfsuite не говорят об этом.

Если это невозможно сделать без сегментации предложений, есть ли намеки на то, как разделить такие тексты на предложения?

Данные примерно такие: (я не могу поделиться фактическими данными)

0

machine-learning crf crfsuite python-crfsuite

Источник

user2038958 17 июл '17 в 20:38

1 ответ

Другие вопросы по тегам machine-learning crf crfsuite python-crfsuite

user114795 16 окт '17 в 08:16 2017-10-16 08:16 · Answer 1 · 2017-10-16 08:16

Да, вы можете тренироваться без разделения входной последовательности на предложения - просто используйте большую последовательность для всего. Например, https://github.com/scrapinghub/webstruct делает это для HTML-страниц.

Разбиение последовательности в предложениях дает дополнительную информацию (жесткие границы), но CRF может работать без нее. Смотрите также: https://stats.stackexchange.com/questions/197291/sequence-length-when-training-a-conditional-random-field-crf.