Извлечение текста структурированным способом не работает с Transformer DONUT
В настоящее время я работаю над точной настройкой преобразователя DONUT (https://huggingface.co/docs/transformers/model_doc/donut) над этой задачей: я хочу, чтобы он извлекал только абзацы моего текстового документа следующим образом:
<>Текст абзаца <>" .
Для этого я использовал блокноты Donut, настроенные на анализ документов (https://github.com/NielsRogge/Transformers-Tutorials/tree/master/Donut/CORD), и свой собственный набор данных с примерно 5000 обучающими документами (из doclaynet). ).
Для моего обучения я выбрал 20 эпох, скорость обучения 3e - 7, размер пакета поездов 8. Мои потери при обучении и проверке уменьшаются, но расстояние редактирования моего дерева (на основе расстояния Левенштейна) увеличивается, тогда как я хочу, чтобы оно было близко к 0. .
Что самое удивительное, так это то, насколько плох DONUT в предсказаниях, делающих такие вещи:
Прогноз:"""""""""""""""""""""""""""""""""""""""""""""""""" """""""""""""""""" "" "" "" "" "" "" " "" " "" "" "" " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "" " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " "" " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " """ " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " " ""
У меня вопрос: как вы думаете, я сделал что-то не так или это просто DONUT не создан для этой задачи?
большое спасибо