Unicode Regex; Неверные символы XML

Question

Unicode Regex; Неверные символы XML

Список допустимых символов XML хорошо известен, как определено в спецификации:

#x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]

Мой вопрос заключается в том, возможно ли сделать регулярное выражение PCRE для этого (или его обратного) без реального кодирования кодовых точек, используя общие категории Unicode. Инверс может быть чем-то вроде [\p{Cc}\p{Cs}\p{Cn}], за исключением того, что неправильно покрывает перевод строки и табуляции и пропускает некоторые другие недопустимые символы.

50

regex unicode pcre

Источник

user23845 29 дек '08 в 06:51

5 ответов

Другие вопросы по тегам regex unicode pcre

user1 07 июн '09 в 08:30 2009-06-07 08:30 · Answer 1 · 2009-06-07 08:30

Я знаю, что это не совсем ответ на ваш вопрос, но полезно иметь его здесь:

Регулярное выражение для соответствия допустимым символам XML:

[\u0009\u000a\u000d\u0020-\uD7FF\uE000-\uFFFD]

Таким образом, чтобы удалить недопустимые символы из XML, вы должны сделать что-то вроде

// filters control characters but allows only properly-formed surrogate sequences
private static Regex _invalidXMLChars = new Regex(
    @"(?<![\uD800-\uDBFF])[\uDC00-\uDFFF]|[\uD800-\uDBFF](?![\uDC00-\uDFFF])|[\x00-\x08\x0B\x0C\x0E-\x1F\x7F-\x9F\uFEFF\uFFFE\uFFFF]",
    RegexOptions.Compiled);

/// <summary>
/// removes any unusual unicode characters that can't be encoded into XML
/// </summary>
public static string RemoveInvalidXMLChars(string text)
{
    if (string.IsNullOrEmpty(text)) return "";
    return _invalidXMLChars.Replace(text, "");
}

У меня был наш резидентский гений regex / XML, он из 4400+ постов с голосованием, проверь это, и он подписал его.

user207927 19 фев '12 в 16:57 2012-02-19 16:57 · Answer 2 · 2012-02-19 16:57

Я попробовал это в Java, и это работает:

private String filterContent(String content) {
    return content.replaceAll("[^\\u0009\\u000a\\u000d\\u0020-\\uD7FF\\uE000-\\uFFFD]", "");
}

Спасибо, Джефф.

7

Источник

user207927 19 фев '12 в 16:57

user36866 29 дек '08 в 07:32 2008-12-29 07:32 · Answer 3 · 2008-12-29 07:32

Для систем, в которых внутренне хранятся кодовые точки в UTF-16, обычно используют суррогатные пары (xD800-xDFFF) для кодовых точек выше 0xFFFF, и в этих системах вы должны проверить, действительно ли вы можете использовать, например, \u12345 или указать это как суррогатная пара. (Я только что узнал, что в C# вы можете использовать \u1234 (16 бит) и \U00001234 (32 бит))

Согласно Microsoft "рекомендация W3C не допускает использование суррогатных символов внутри имен элементов или атрибутов". При поиске на сайте W3s я нашел C079 и C078, которые могут быть интересны.

user679334 14 май '17 в 07:45 2017-05-14 07:45 · Answer 4 · 2017-05-14 07:45

Вышеуказанные решения не сработали, если в xml присутствовал шестнадцатеричный код. например

<element></element>

Следующий код сломался бы:

string xmlFormat = "<element>{0}</element>";
string invalid = " &#x8;";
string xml = string.Format(xmlFormat, invalid);
xml = Regex.Replace(xml, @"[\x01-\x08\x0B\x0C\x0E\x0F\u0000-\u0008\u000B\u000C\u000E-\u001F]", "");
XDocument.Parse(xml);

Возвращает:

XmlException: '', шестнадцатеричное значение 0x08, является недопустимым символом. Строка 1, позиция 14.

Следующее является улучшенным регулярным выражением и исправило проблему, упомянутую выше:

& # х ([0-8BCEFbcef]|1[0-9A-Fa-е]);|[\x01-\x08\x0B\x0C\x0E\ X0F\u0000-\u0008\u000B\u000C\ \ u000E- u001F]

Вот модульный тест для первых 300 символов Юникода и проверяет, что удаляются только недопустимые символы:

[Fact]
        public void validate_that_RemoveInvalidData_only_remove_all_invalid_data()
        {
            string xmlFormat = "<element>{0}</element>";
            string[] allAscii = (Enumerable.Range('\x1', 300).Select(x => ((char)x).ToString()).ToArray());
            string[] allAsciiInHexCode = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("X") + ";").ToArray());
            string[] allAsciiInHexCodeLoweCase = (Enumerable.Range('\x1', 300).Select(x => "&#x" + (x).ToString("x") + ";").ToArray());

            bool hasParserError = false;
            IXmlSanitizer sanitizer = new XmlSanitizer();

            foreach (var test in allAscii.Concat(allAsciiInHexCode).Concat(allAsciiInHexCodeLoweCase))
            {
                bool shouldBeRemoved = false;
                string xml = string.Format(xmlFormat, test);
                try
                {
                    XDocument.Parse(xml);
                    shouldBeRemoved = false;
                }
                catch (Exception e)
                {
                    if (test != "<" && test != "&") //these char are taken care of automatically by my convertor so don't need to test. You might need to add these.
                    {
                        shouldBeRemoved = true;
                    }
                }
                int xmlCurrentLength = xml.Length;
                int xmlLengthAfterSanitize = Regex.Replace(xml, @"&#x([0-8BCEF]|1[0-9A-F]);|[\u0000-\u0008\u000B\u000C\u000E-\u001F]", "").Length;
                if ((shouldBeRemoved && xmlCurrentLength == xmlLengthAfterSanitize) //it wasn't properly Removed
                    ||(!shouldBeRemoved && xmlCurrentLength != xmlLengthAfterSanitize)) //it was removed but shouldn't have been
                {
                    hasParserError = true;
                    Console.WriteLine(test + xml);
                }
            }
            Assert.Equal(false, hasParserError);
        }

user4168674 20 фев '18 в 19:59 2018-02-20 19:59 · Answer 5 · 2018-02-20 19:59

Другой способ удалить неправильные символы XML в C# с помощью метода XmlConvert.IsXmlChar (доступно с.NET Framework 4.0)

public static string RemoveInvalidXmlChars(string content)
{
   return new string(content.Where(ch => System.Xml.XmlConvert.IsXmlChar(ch)).ToArray());
}

или вы можете проверить, что все символы допустимы в формате XML.

public static bool CheckValidXmlChars(string content)
{
   return content.All(ch => System.Xml.XmlConvert.IsXmlChar(ch));
}

.Net Fiddle - https://dotnetfiddle.net/v1TNus

Например, символ вертикальной вкладки (\v) недопустим для XML, он является допустимым UTF-8, но не допустимым XML 1.0, и даже многие библиотеки (включая libxml2) пропускают его и выводят недействительный XML-код.

user2306102 03 ноя '20 в 14:45 2020-11-03 14:45 · Answer 6 · 2020-11-03 14:45

В PHP регулярное выражение будет выглядеть следующим образом:

protected function isStringValid($string)
{
    $regex = '/[^\x{9}\x{a}\x{d}\x{20}-\x{D7FF}\x{E000}-\x{FFFD}\x{10000}-\x{10FFFF}]+/u';

    return (preg_match($regex, $string, $matches) === 0);
}

Это будет обрабатывать все 3 диапазона из спецификации xml:

#x9 | #xA | #xD | [#x20-#xD7FF] | [#xE000-#xFFFD] | [#x10000-#x10FFFF]

0

Источник

user2306102 03 ноя '20 в 14:45