Разбор HTML5 с QXmlQuery

Question

Я хочу запустить некоторые XQueries для ряда документов HTML5, используя QT (сейчас 5.8...). Теперь документы HTML/HTML5 (в отличие от XHTML/XHTML5) являются не правильно сформированными документами XML. HTML содержит ряд элементов, которые не могут быть сразу проанализированы с помощью синтаксических анализаторов XML (специальные символы встречаются только в тегах html + self closed +...).

Я попытался использовать несколько html-утилит "tidy", в том числе онлайн-сервисы и знаменитые двоичные файлы htmltidy.org, которые работали аккуратно, но по-прежнему не формировали правильно сформированный XML!

Итак, вопросы:

1. Есть ли здесь альтернативный специальный HTML-парсер, который мне не хватает?
2. Существуют ли проверенные конвертеры HTML5->XML (мне все равно, не содержит ли XML какой-либо из "проблемных" символов / тегов. Мне просто нужна информация...)
3. Можно ли вообще анализировать файлы HTML/HTML5 с помощью QT/QXmlPatterns? или это проигранная война???
4. Какие-нибудь внешние инструменты, которые могут помочь?

Спасибо!

Answer 1

Использование правильной командной строки html-tidy работает!

Загрузите html-файл с: http://binaries.html-tidy.org/

Используйте следующую командную строку:

tidy.exe -q -b -asxml test.html> test.xml

Использование следующего кода для использования QXmlQuery в результирующем XML-файле теперь работает нормально:

#include <QFile>
#include <QXmlQuery>
#include <QBuffer>
#include <QXmlFormatter>
#include <QException>
#include <QAbstractMessageHandler>
#include <iostream>
#include <string.h>
#include <QCoreApplication>

using namespace std;

class ParserMsgHandler: public QAbstractMessageHandler
{
    virtual void handleMessage( QtMsgType type, const QString &description, const QUrl &identifier, const QSourceLocation &sourceLocation )
    {
        QString mt = "";
        switch( type )
        {
        case QtDebugMsg:
            mt = "DBG: ";
            break;
        case QtWarningMsg:
            mt = "WRN: ";
            break;
        case QtCriticalMsg:
            mt = "CRT: ";
            break;
        case QtFatalMsg:
            mt = "FTL: ";
            break;
        case QtInfoMsg:
            mt = "INF: ";
            break;
        }

        QString msg = "\r\n" +
                      mt +
                      "Line: " + sourceLocation.line() +
                      ", Column: " + sourceLocation.column() +
                      ", Id: " + identifier.toString() +
                      ", Desc: " + description;
        cout << msg.toUtf8().constData();
    }
};

ParserMsgHandler gHandler;

int main(int argc, char *argv[])
{
    QCoreApplication a( argc, argv );

    try
    {
        QString htmlFilename = a.arguments()[1];
        QString xqueryFilename = a.arguments()[2];
        QFile queryFile( xqueryFilename );
        queryFile.open( QIODevice::ReadOnly );
        const QString queryStr( QString::fromUtf8( queryFile.readAll() ) );
        QXmlQuery query;
        QFile sourceDocument;
        sourceDocument.setFileName( htmlFilename );
        sourceDocument.open( QIODevice::ReadOnly );

        QByteArray outArray;
        QBuffer buffer( &outArray );
        buffer.open( QIODevice::ReadWrite );

        query.bindVariable( "inputDocument", &sourceDocument );
        query.setQuery( queryStr );
        query.setMessageHandler( &gHandler );
        if( !query.isValid() )
        {
            cout << "\r\nError: Bad Query or Document!\r\n";
            return -1;
        }

        QXmlFormatter formatter( query, &buffer );
        if( !query.evaluateTo( &formatter ) )
        {
            cout << "\r\nError: Evaluation Failed!\r\n";
            return -2;
        }

        buffer.close();
        cout << "\r\nOutput:\r\n" << outArray.constData() << "\r\n";
        return a.exec();
    }
    catch( QException e )
    {
        cout << "\r\nExecption: " << e.what() << "\r\n";
    }
    catch( ... )
    {
        cout << "\r\nExecption: Big one...\r\n";
    }

    return 0;
}