XML в CSV в Python

У меня много проблем с преобразованием файла XML в CSV на Python. Я смотрел на многих форумах, пробовал как lxml, так и xmlutils.xml2csv, но не могу заставить его работать. Это данные GPS от устройства Garmin GPS.

Вот как выглядит мой XML-файл, сокращенный, конечно:

<?xml version="1.0" encoding="utf-8"?>
<gpx xmlns:tc2="http://www.garmin.com/xmlschemas/TrainingCenterDatabase/v2" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tp1="http://www.garmin.com/xmlschemas/TrackPointExtension/v1" xmlns="http://www.topografix.com/GPX/1/1" version="1.1" creator="TC2 to GPX11 XSLT stylesheet" xsi:schemaLocation="http://www.topografix.com/GPX/1/1 http://www.topografix.com/GPX/1/1/gpx.xsd http://www.garmin.com/xmlschemas/TrackPointExtension/v1 http://www.garmin.com/xmlschemas/TrackPointExtensionv1.xsd">
  <trk>
      <name>2013-12-03T21:08:56Z</name>
      <trkseg>
          <trkpt lat="45.4852855" lon="-122.6347885">
              <ele>0.0000000</ele>
              <time>2013-12-03T21:08:56Z</time>
          </trkpt>
          <trkpt lat="45.4852961" lon="-122.6347926">
              <ele>0.0000000</ele>
              <time>2013-12-03T21:09:00Z</time>
          </trkpt>
          <trkpt lat="45.4852982" lon="-122.6347897">
              <ele>0.2000000</ele>
              <time>2013-12-03T21:09:01Z</time>
          </trkpt>
      </trkseg>
  </trk>
</gpx>

В моем массивном XML-файле есть несколько тегов trk, но я могу выделить их - они представляют разные "сегменты" или поездки на устройстве GPS. Все, что я хочу, это файл CSV, который строит примерно так:

LAT         LON         TIME         ELE
45.4...     -122.6...   2013-12...   0.00...
...         ...         ...          ...

Вот код, который у меня есть:

## Call libraries
import csv
from xmlutils.xml2csv import xml2csv

inputs = "myfile.xml"
output = "myfile.csv"

converter = xml2csv(inputs, output)
converter.convert(tag="WHATEVER_GOES_HERE_RENDERS_EMPTY_CSV")

Это еще один альтернативный код. Он просто выводит файл CSV без данных, только заголовки lat а также lon,

import csv
import lxml.etree

x = '''
<?xml version="1.0" encoding="utf-8"?>
<gpx xmlns:tc2="http://www.garmin.com/xmlschemas/TrainingCenterDatabase/v2" xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance" xmlns:tp1="http://www.garmin.com/xmlschemas/TrackPointExtension/v1" xmlns="http://www.topografix.com/GPX/1/1" version="1.1" creator="TC2 to GPX11 XSLT stylesheet" xsi:schemaLocation="http://www.topografix.com/GPX/1/1 http://www.topografix.com/GPX/1/1/gpx.xsd http://www.garmin.com/xmlschemas/TrackPointExtension/v1 http://www.garmin.com/xmlschemas/TrackPointExtensionv1.xsd">
<trk>
  <name>2013-12-03T21:08:56Z</name>
  <trkseg>
    <trkpt lat="45.4852855" lon="-122.6347885">
      <ele>0.0000000</ele>
      <time>2013-12-03T21:08:56Z</time>
    </trkpt>
    <trkpt lat="45.4852961" lon="-122.6347926">
      <ele>0.0000000</ele>
      <time>2013-12-03T21:09:00Z</time>
    </trkpt>
    <trkpt lat="45.4852982" lon="-122.6347897">
      <ele>0.2000000</ele>
      <time>2013-12-03T21:09:01Z</time>
    </trkpt>
  </trkseg>
</trk>
</gpx>
'''

with open('output.csv', 'w') as f:
    writer = csv.writer(f)
    writer.writerow(('lat', 'lon'))
    root = lxml.etree.fromstring(x)
    for trkpt in root.iter('trkpt'):
        row = trkpt.get('lat'), trkpt.get('lon')
        writer.writerow(row)

Как мне это сделать? Пожалуйста, поймите, что я новичок, так что более полное объяснение было бы просто супер!

Источник

3 ответа

Решение

Это XML-документ с пространством имен. Поэтому вам необходимо обратиться к узлам, используя их соответствующие пространства имен.

Пространства имен, используемые в документе, определены вверху:

xmlns:tc2="http://www.garmin.com/xmlschemas/TrainingCenterDatabase/v2"
xmlns:xsi="http://www.w3.org/2001/XMLSchema-instance"
xmlns:tp1="http://www.garmin.com/xmlschemas/TrackPointExtension/v1"
xmlns="http://www.topografix.com/GPX/1/1"

Таким образом, первое пространство имен отображается в краткой форме tc2 и будет использоваться в таком элементе, как <tc2:foobar/>, Последний, который не имеет краткой формы после xmlns, называется пространством имен по умолчанию и применяется ко всем элементам в документе, которые явно не используют пространство имен - поэтому оно применяется к вашему <trkpt /> элементы, а также.

Поэтому вам нужно будет написать root.iter('{http://www.topografix.com/GPX/1/1}trkpt') выбрать эти элементы.

Для того, чтобы также получить время и высоту, вы можете использовать trkpt.find() чтобы получить доступ к этим элементам ниже trkpt узел, а затем element.text чтобы получить текстовое содержимое этих элементов (в отличие от таких атрибутов, как lat а также lon). Кроме того, потому что time а также ele элементы также используют пространство имен по умолчанию, вам придется использовать {namespace}element Синтаксис снова, чтобы выбрать эти узлы.

Таким образом, вы можете использовать что-то вроде этого:

NS = 'http://www.topografix.com/GPX/1/1'
header = ('lat', 'lon', 'ele', 'time')

with open('output.csv', 'w') as f:
    writer = csv.writer(f)
    writer.writerow(header)
    root = lxml.etree.fromstring(x)
    for trkpt in root.iter('{%s}trkpt' % NS):
        lat = trkpt.get('lat')
        lon = trkpt.get('lon')
        ele = trkpt.find('{%s}ele' % NS).text
        time = trkpt.find('{%s}time' % NS).text

        row = lat, lon, ele, time
        writer.writerow(row)

Для получения дополнительной информации о пространствах имен XML см. Раздел "Пространства имен" в руководстве по lxml и статью Википедии о пространствах имен XML. Также см. Формат обмена GPS для некоторых деталей о .gpx формат.

Источник

Приношу извинения за использование уже созданных инструментов, но это помогло вашим данным:

  1. Конвертировать XML в JSON: http://convertjson.com/xml-to-json.htm
  2. Возьмите этот JSON и конвертируйте JSON в CSV: https://konklone.io/json/

Это работало как шарм с вашими данными.

ele,time,_lat,_lon
0.0000000,2013-12-03T21:08:56Z,45.4852855,-122.6347885
0.0000000,2013-12-03T21:09:00Z,45.4852961,-122.6347926
0.2000000,2013-12-03T21:09:01Z,45.4852982,-122.6347897

Так что для кодирования, я считаю, XML > JSON > CSV может быть хорошим подходом. Многие из них находят соответствующие сценарии, указанные в этих ссылках.

Источник

Я написал gpxcsv именно для этого случая и для обработки полей расширения gpx, которые пропускают другие конвертеры.

Так же легко, как:

      from gpxcsv import gpxtolist
import pandas as pd

df = pd.DataFrame(
    pxtolist('myfile.gpx'))

для фрейма данных, или существует инструмент командной строки, чтобы просто создать файл .csv или .json, сохраняя столько столбцов в точке отслеживания, сколько он находит, используя теги в качестве имен столбцов.

Исходный код проекта на github.

Источник
Другие вопросы по тегам