Ошибка синтаксического анализатора при использовании Perl XML::DOM module, "ссылка на недопустимый номер символа"

Я полный новичок в Perl, но я уверен, что изучить Perl будет проще, чем понять, как анализировать XML в awk. Я хотел бы проанализировать файлы.sgm из этого набора данных:

http://kdd.ics.uci.edu/databases/reuters21578/reuters21578.html

Это сборник из 20000 статей Reuters, опубликованных на ленте новостей десятилетней давности, и стандартный набор тестов для определенных типов обработки текста. Чтобы упростить тестирование на Perl, я взял первые несколько сотен строк из первого файла и создавал test.sgm до тех пор, пока мой скрипт не сработал корректно. Это начинается так:

<!DOCTYPE lewis SYSTEM "lewis.dtd">
<REUTERS TOPICS="YES" LEWISSPLIT="TRAIN" CGISPLIT="TRAINING-SET" OLDID="5544" NEWID="1">
<DATE>26-FEB-1987 15:01:01.79</DATE>
<TOPICS><D>cocoa</D></TOPICS>
<PLACES><D>el-salvador</D><D>usa</D><D>uruguay</D></PLACES>
<PEOPLE></PEOPLE>
<ORGS></ORGS>
<EXCHANGES></EXCHANGES>
<COMPANIES></COMPANIES>
<UNKNOWN> 
&#5;&#5;&#5;C T
&#22;&#22;&#1;f0704&#31;reute
u f BC-BAHIA-COCOA-REVIEW   02-26 0105</UNKNOWN>
<TEXT>&#2;
<TITLE>BAHIA COCOA REVIEW</TITLE>
<DATELINE>    SALVADOR, Feb 26 - </DATELINE><BODY>Showers continued throughout the week in
the Bahia cocoa zone, alleviating the drought since early
January and improving prospects for the coming temporao,...

Я использовал Perl-скрипт из /questions/18237351/samyij-effektivnyij-sposob-proverit-tip-obekta/18237365#18237365 в качестве примера и закончил этим, extract.pl:

use XML::DOM;

my $file = $ARGV[0];

my $parser = XML::DOM::Parser->new();
my $doc = $parser->parsefile($file);

#print $doc->getElementsByTagName('DATE');

print "\n";

и я получаю этот вывод:

> perl extract.pl test.sgm

reference to invalid character number at line 11, column 0, byte 343 at /usr/lib64/perl5/vendor_perl/5.8.5/x86_64-linux-thread-multi/XML/Parser.pm line 187
>

Google не помогает (на первый взгляд это страница с такой же ошибкой, как и я), и мой друг по Perl-хакеру все еще находится в Blackhat в Вегасе. Есть идеи, что я делаю не так, или как мне почистить файл? Я предполагаю, что внутри этого тега "Неизвестно" происходит зло, которое мне даже не нужно. Я действительно просто хочу извлечь текст из каждой статьи. Если вам нужна дополнительная информация, пожалуйста, дайте мне знать.

Источник

1 ответ

Решение

Ссылка на цифровой символ "& # 5;" недопустимо в действительных документах XML. Я отсылаю вас к разделу 4.1 Ссылки на символы и сущности в рекомендации XML:

Символы, на которые ссылаются с использованием символов, ДОЛЖНЫ соответствовать продукции для Char.

Теперь, если мы перейдем по ссылке и посмотрим на продукцию для Char:

Char:: = # x9 | #xA | #xD | [# x20- # xD7FF] | [# xE000- # xFFFD] | [# X10000-#x10FFFF]

мы видим, что есть некоторые символы, которые могут появляться ни в буквальном смысле, ни в виде числовой ссылки на символ в действительном документе XML.

Странность это; Я кое-что узнал о XML сегодня:).

Посмотрите этот разговор о управляющих символах ASCII в XML для возможного обходного пути.

Источник
Другие вопросы по тегам