Разбор XML-файла с несколькими корневыми элементами в Python

Question

У меня есть XML-файл, и мне нужно извлечь некоторые теги из него для некоторого использования, которые имеют такие данные, как:

<?xml version="1.0"?>
<data>
    <country name="Liechtenstein">
        <rank>1</rank>
        <year>2008</year>
        <gdppc>141100</gdppc>
        <neighbor name="Austria" direction="E"/>
        <neighbor name="Switzerland" direction="W"/>
    </country>
    <country name="Singapore">
        <rank>4</rank>
        <year>2011</year>
        <gdppc>59900</gdppc>
        <neighbor name="Malaysia" direction="N"/>
    </country>
    <country name="Panama">
        <rank>68</rank>
        <year>2011</year>
        <gdppc>13600</gdppc>
        <neighbor name="Costa Rica" direction="W"/>
        <neighbor name="Colombia" direction="E"/>
    </country>
</data>
<?xml version="1.0"?>
<data>
    <country name="Liechtenstein1">
        <rank>1</rank>
        <year>2008</year>
        <gdppc>141100</gdppc>
        <neighbor name="Austria1" direction="E"/>
        <neighbor name="Switzerland1" direction="W"/>
    </country>
    <country name="Singapore">
        <rank>4</rank>
        <year>2011</year>
        <gdppc>59900</gdppc>
        <neighbor name="Malaysia1" direction="N"/>
    </country>
    <country name="Panama">
        <rank>68</rank>
        <year>2011</year>
        <gdppc>13600</gdppc>
        <neighbor name="Costa Rica" direction="W"/>
        <neighbor name="Colombia" direction="E"/>
    </country>
</data>

мне нужно разобрать это, поэтому я использовал:

import xml.etree.ElementTree as ET
tree = ET.parse("myfile.xml")
root = tree.getroot()

этот код дает ошибку в строке 2: xml.etree.ElementTree.ParseError: junk after document element:

я думаю, что это потому, что несколько тегов XML, у вас есть какие-либо идеи, как мне разобрать это?

Answer 1

Этот код заполняет детали для одного подхода, если вы хотите их.

Код следит за "аккумулированным_xml", пока не встретит начало другого XML-документа или конец файла. Когда у него есть полный XML-документ, он вызывает display осуществлять lxml библиотека для синтаксического анализа документа и отчета о его содержимом.

>>> from lxml import etree
>>> def display(alist):
...     tree = etree.fromstring(''.join(alist))
...     for country in tree.xpath('.//country'):
...         print(country.attrib['name'], country.find('rank').text, country.find('year').text)
...         print([neighbour.attrib['name'] for neighbour in country.xpath('neighbor')])
... 
>>> accumulated_xml = []
>>> with open('temp.xml') as temp:
...     while True:
...         line = temp.readline()
...         if line:
...             if line.startswith('<?xml'):
...                 if accumulated_xml:
...                     display (accumulated_xml)
...                     accumulated_xml = []
...             else:
...                 accumulated_xml.append(line.strip())
...         else:
...             display (accumulated_xml)
...             break
... 
Liechtenstein 1 2008
['Austria', 'Switzerland']
Singapore 4 2011
['Malaysia']
Panama 68 2011
['Costa Rica', 'Colombia']
Liechtenstein1 1 2008
['Austria1', 'Switzerland1']
Singapore 4 2011
['Malaysia1']
Panama 68 2011
['Costa Rica', 'Colombia']

Answer 2

Есть простой трюк, который я использовал для разбора такого псевдо-XML ( файлы правил Wazuh) - просто оберните его внутри <whatever></whatever> таким образом формируя единый корень по всем этим "корням".

В вашем случае, вместо того, чтобы иметь недопустимый XML, как это:

<data> ... </data>
<data> ... </data>

Вы можете переписать его так:

<whatever>
    <data> ... </data>
    <data> ... </data>
</whatever>

Затем вы анализируете это как обычно и повторяете <data> элементы.

import xml.etree.ElementTree as etree
import pathlib

file = Path('rules/0020-syslog_rules.xml')
data = b'<rules>' + file.read_bytes() + b'</rules>'
etree.fromstring(data)
etree.findall('group')
... array of Elements ...

Answer 3

Вопрос: ... есть идеи, как мне разобрать это?

Отфильтровать весь файл и разделить на действительные <?xml ... Куски.
Создает myfile_01, myfile_02 ... myfile_nn,

n = 0
out_fh = None
with open('myfile.xml') as in_fh:
    while True:
        line = in_fh.readline()
        if not line: break

        if line.startswith('<?xml'):
            if out_fh:
                out_fh.close()
            n += 1
            out_fh = open('myfile_{:02}'.format(n))

        out_fh.write(line)

    out_fh.close()

Если вы хотите все <country> в одной XML Tree:

import re
from xml.etree import ElementTree as ET

with open('myfile.xml') as fh:
    root = ET.fromstring('<?xml version="1.0"?><data>{}</data>'.
                         format(''.join(re.findall('<country.*?</country>', fh.read(), re.S)))
                                )

Протестировано с Python: 3.4.2