Ошибка кодирования при разборе RSS с помощью lxml

Я хочу проанализировать загруженный RSS с lxml, но я не знаю, как справиться с UnicodeDecodeError?

request = urllib2.Request('http://wiadomosci.onet.pl/kraj/rss.xml')
response = urllib2.urlopen(request)
response = response.read()
encd = chardet.detect(response)['encoding']
parser = etree.XMLParser(ns_clean=True,recover=True,encoding=encd)
tree = etree.parse(response, parser)

Но я получаю ошибку:

tree   = etree.parse(response, parser)
File "lxml.etree.pyx", line 2692, in lxml.etree.parse (src/lxml/lxml.etree.c:49594)
  File "parser.pxi", line 1500, in lxml.etree._parseDocument (src/lxml/lxml.etree.c:71364)
  File "parser.pxi", line 1529, in lxml.etree._parseDocumentFromURL (src/lxml/lxml.etree.c:71647)
  File "parser.pxi", line 1429, in lxml.etree._parseDocFromFile (src/lxml/lxml.etree.c:70742)
  File "parser.pxi", line 975, in lxml.etree._BaseParser._parseDocFromFile (src/lxml/lxml.etree.c:67
740)
  File "parser.pxi", line 539, in lxml.etree._ParserContext._handleParseResultDoc (src/lxml/lxml.etr
ee.c:63824)
  File "parser.pxi", line 625, in lxml.etree._handleParseResult (src/lxml/lxml.etree.c:64745)
  File "parser.pxi", line 559, in lxml.etree._raiseParseError (src/lxml/lxml.etree.c:64027)
UnicodeDecodeError: 'ascii' codec can't decode byte 0xc5 in position 97: ordinal not in range(128)
Источник

3 ответа

Решение

Вероятно, вам следует только попытаться определить кодировку символов в качестве последнего средства, поскольку ясно, что кодировка основана на прологе XML (если не на заголовках HTTP). В любом случае, нет необходимости передавать кодировку в etree.XMLParser если вы не хотите переопределить кодировку; так что избавься от encoding параметр, и он должен работать.

Редактировать: хорошо, проблема на самом деле, кажется, с lxml, Следующие работы по любой причине:

parser = etree.XMLParser(ns_clean=True, recover=True)
etree.parse('http://wiadomosci.onet.pl/kraj/rss.xml', parser)
Источник

Я столкнулся с подобной проблемой, и оказалось, что это не имеет никакого отношения к кодировкам. Вот что происходит: lxml выдает совершенно не связанную ошибку. В этом случае ошибка заключается в том, что функция.parse ожидает имя файла или URL, а не строку с самим содержимым. Однако, когда он пытается распечатать ошибку, он захлебывается не-ascii символами и показывает это совершенно запутанное сообщение об ошибке. Очень жаль, и другие люди прокомментировали эту проблему здесь:

https://mailman-mail5.webfaction.com/pipermail/lxml/2009-February/004393.html

К счастью, это очень легко исправить. Просто замените.parse на.fromstring, и все будет хорошо:

request = urllib2.Request('http://wiadomosci.onet.pl/kraj/rss.xml')
response = urllib2.urlopen(request)
response = response.read()
encd = chardet.detect(response)['encoding']
parser = etree.XMLParser(ns_clean=True,recover=True,encoding=encd)

## lxml Y U NO MAKE SENSE!!!
tree = etree.fromstring(response, parser)

Только что проверил это на моей машине, и он работал нормально. Надеюсь, поможет!

Источник

Зачастую проще сначала загрузить и отсортировать строку для библиотеки lxml, а затем вызвать из нее строку fromstring, чем полагаться на функцию lxml.etree.parse(), что затрудняет управление параметрами кодирования.

Этот конкретный rss-файл начинается с объявления кодировки, поэтому все должно просто работать:

<?xml version="1.0" encoding="utf-8"?>

В следующем коде показаны некоторые из различных вариантов, которые можно применять для анализа etree для разных кодировок. Вы также можете попросить его написать другие кодировки, которые появятся в заголовках.

import lxml.etree
import urllib2

request = urllib2.Request('http://wiadomosci.onet.pl/kraj/rss.xml')
response = urllib2.urlopen(request).read()
print [response]
        # ['<?xml version="1.0" encoding="utf-8"?>\n<feed xmlns=... <title>Wiadomo\xc5\x9bci...']

uresponse = response.decode("utf8")
print [uresponse]    
        # [u'<?xml version="1.0" encoding="utf-8"?>\n<feed xmlns=... <title>Wiadomo\u015bci...']

tree = lxml.etree.fromstring(response)
res = lxml.etree.tostring(tree)
print [res]
        # ['<feed xmlns="http://www.w3.org/2005/Atom">\n<title>Wiadomo&#347;ci...']

lres = lxml.etree.tostring(tree, encoding="latin1")
print [lres]
        # ["<?xml version='1.0' encoding='latin1'?>\n<feed xmlns=...<title>Wiadomo&#347;ci...']


# works because the 38 character encoding declaration is sliced off
print lxml.etree.fromstring(uresponse[38:])   

# throws ValueError(u'Unicode strings with encoding declaration are not supported.',)
print lxml.etree.fromstring(uresponse)

Код можно попробовать здесь: http://scraperwiki.com/scrapers/lxml_and_encoding_declarations/edit/

Источник
Другие вопросы по тегам