PHP DOMDocument loadHTML неправильно кодирует UTF-8

Question

PHP DOMDocument loadHTML неправильно кодирует UTF-8

Я пытаюсь разобрать некоторый HTML с помощью DOMDocument, но когда я это делаю, я внезапно теряю свою кодировку (по крайней мере, так мне кажется).

$profile = "<div><p>various japanese characters</p></div>";
$dom = new DOMDocument();
$dom->loadHTML($profile); 

$divs = $dom->getElementsByTagName('div');

foreach ($divs as $div) {
    echo $dom->saveHTML($div);
}

Результатом этого кода является то, что я получаю набор символов, которые не являются японскими. Однако, если я сделаю:

echo $profile;

он отображается правильно. Я пробовал saveHTML и saveXML, и ни один из них не отображается правильно. Я использую PHP 5.3.

Что я вижу:

ã¤ãªãã¤å·ã·ã«ã´ã«ã¦ãã¢ã¤ã«ã©ã³ãç³»ã®å®¶åºã«ã9äººåå¼ã®5çªç®ã¨ãã¦çã¾ãããå½¼ãå«ãã¦4äººãä¿³åªã«ãªã£ããç¶è¦ªã¯æ¨æã®ã»ã¼ã«ã¹ãã³ã§ãæ¯è¦ªã¯éµä¾¿å±ã®å®¢å®¤ä¿ã ã£ããé«æ ¡æä»£ã¯ãã£ãã£ã®ã¢ã«ãã¤ãã«å¤ãã¿ãæè²è³éãåããªããã«ããªãã¯ç³»ã®é«æ ¡ã¸é²å¦ã

Что должно быть показано:

イリノイ州シカゴにて、アイルランド系の家庭に、9人兄弟の5番目として生まれる。彼を含めて4人が俳優になった。父親は木材のセールスマンで、母親は郵便局の客室係だった。高校時代はキャディのアルバイトに勤しみ、教育資金を受けながらカトリック系の高校へ進学

РЕДАКТИРОВАТЬ: я упростил код до пяти строк, чтобы вы могли проверить его самостоятельно.

$profile = "<div lang=ja><p>イリノイ州シカゴにて、アイルランド系の家庭に、</p></div>";
$dom = new DOMDocument();
$dom->loadHTML($profile);
echo $dom->saveHTML();
echo $profile;

Вот HTML, который возвращается:

<div lang="ja"><p>ã‚¤ãƒªãƒŽã‚¤å·žã‚·ã‚«ã‚´ã«ã¦ã€ã‚¢ã‚¤ãƒ«ãƒ©ãƒ³ãƒ‰ç³»ã®å®¶åºã«ã€</p></div>
<div lang="ja"><p>イリノイ州シカゴにて、アイルランド系の家庭に、</p></div>

265

php utf-8 character-encoding

Источник

user519204 21 ноя '11 в 20:37

15 ответов

Решение

Проблема с saveHTML() а также saveXML()оба они не работают правильно в Unix. Они не сохраняют символы UTF-8 правильно при использовании в Unix, но работают в Windows.

Обходной путь очень прост:

Если вы попробуете по умолчанию, вы получите ошибку, которую вы описали

$str = $dom->saveHTML(); // saves incorrectly

Все, что вам нужно сделать, это сохранить следующим образом:

$str = $dom->saveHTML($dom->documentElement); // saves correctly

Эта строка кода поможет вам правильно сохранить символы UTF-8. Используйте тот же обходной путь, если вы используете saveXML(),

Заметка

Английские символы не вызывают никаких проблем при использовании saveHTML() без параметров (потому что английские символы сохраняются как однобайтовые символы в UTF-8)
Проблема возникает, когда у вас есть многобайтовые символы (например, китайский, русский, арабский, иврит и т. Д.)

Я рекомендую прочитать эту статью: http://coding.smashingmagazine.com/2012/06/06/all-about-unicode-utf8-character-sets/. Вы поймете, как работает UTF-8 и почему у вас возникла эта проблема. Это займет у вас около 30 минут, но это хорошо проведенное время.

95

Источник

user1795917 19 дек '13 в 07:06

Убедитесь, что реальный исходный файл сохранен как UTF-8 (Вы можете даже попробовать нерекомендованные символы спецификации с UTF-8, чтобы убедиться).

Также в случае HTML убедитесь, что вы объявили правильную кодировку, используя meta теги:

<meta http-equiv="Content-Type" content="text/html; charset=utf-8">

Если это CMS (как вы пометили свой вопрос с Joomla), вам может потребоваться настроить соответствующие параметры для кодировки.

21

Источник

user656366 21 ноя '11 в 20:59

Мне потребовалось некоторое время, чтобы понять, но вот мой ответ.

Перед использованием DomDocument я бы использовал file_get_contents для получения URL-адресов, а затем обрабатывал их строковыми функциями. Возможно, не лучшим способом, но быстрым. Убедившись, что Дом так же быстр, я сначала попробовал следующее:

$dom = new DomDocument('1.0', 'UTF-8');
if ($dom->loadHTMLFile($url) == false) { // read the url
    // error message
}
else {
    // process
}

Это не помогло сохранить кодировку UTF-8, несмотря на правильные метатеги, настройки php и все остальные средства защиты, предлагаемые здесь и в других местах. Вот что работает:

$dom = new DomDocument('1.0', 'UTF-8');
$str = file_get_contents($url);
if ($dom->loadHTML(mb_convert_encoding($str, 'HTML-ENTITIES', 'UTF-8')) == false) {
}

и т.д. Теперь все в порядке с миром. Надеюсь это поможет.

19

Источник

user8972079 20 ноя '17 в 15:57

Используйте правильный заголовок для UTF-8

Не останавливайтесь на словах «это работает».

@cmbuckley в своем принятом ответе посоветовал установить <?xml encoding="utf-8" ?>к документу. Однако использовать объявление XML в документе HTML немного странно. HTML - это не XML (если это не XHTML), и он может сбивать с толку браузеры и другое программное обеспечение на пути к клиенту (может быть источником сбоев, о которых сообщают другие).

Я успешно использовал декларацию HTML5:

      $profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML('<!DOCTYPE html><meta charset="UTF-8">' . $profile);
echo $dom->saveHTML();

Если вы используете другой стандарт, используйте правильный заголовок, DOMDocument следует стандартам довольно педантично и, кажется, также поддерживает HTML5 (если не в вашем случае, попробуйте обновить расширение libxml).

14

Источник

user343721 05 апр '21 в 01:21

Вы можете добавить префикс в строку utf-8 кодировка, как это:

@$doc->loadHTML('<?xml version="1.0" encoding="UTF-8"?>' . "\n" . $profile);

И затем вы можете продолжить с кодом, который у вас уже есть, например:

$doc->saveXML()

12

Источник

user673617 22 ноя '15 в 05:42

Используйте это для правильного результата

$dom = new DOMDocument();
$dom->loadHTML('<meta http-equiv="Content-Type" content="text/html; charset=utf-8">' . $profile);
echo $dom->saveHTML();
echo $profile;

Эта операция

mb_convert_encoding($profile, 'HTML-ENTITIES', 'UTF-8');

Это плохо, потому что специальные символы, такие как <; >; может быть в профиле $, и они не будут преобразованы дважды после mb_convert_encoding. Это дыра для XSS и неправильного HTML.

6

Источник

user3654176 15 июн '16 в 11:57

Вы должны передать DOMDocument версию вашего HTML с заголовком, который имеет смысл. Так же, как HTML5.

$profile ='<?xml version="1.0" encoding="'.$_encoding.'"?>'. $html;

Возможно, это хорошая идея, чтобы ваш html действовал как можно точнее, чтобы не возникало проблем при запуске запроса... вокруг:-) и держаться подальше от htmlentities!!!! Это необходимая трата ресурсов назад и вперед. держи свой код безумным!!!!

5

Источник

user1250079 04 июн '13 в 07:25

Работает финде для меня:

$dom = new \DOMDocument;
$dom->loadHTML(utf8_decode($html));
...
return  utf8_encode( $dom->saveHTML());

4

Источник

user5292068 23 июн '16 в 13:47

Я использую php 7.3.8 на manjaro, и я работал с персидским контентом. Это решило мою проблему:

$html = 'hi</b><p>سلام<div>の家庭に、9 ☆';
$doc = new DOMDocument('1.0', 'UTF-8');
$doc->loadHTML(mb_convert_encoding($html, 'HTML-ENTITIES', 'UTF-8'));
print $doc->saveHTML($doc->documentElement) . PHP_EOL . PHP_EOL;

4

Источник

user2164199 15 авг '19 в 12:25

Единственное, что у меня сработало, это принятый ответ

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML('<?xml encoding="utf-8" ?>' . $profile);
echo $dom->saveHTML();

ОДНАКО

Это вызвало новые проблемы, связанные с <?xml encoding="utf-8" ?> в выводе документа.

Решением для меня было сделать

foreach ($doc->childNodes as $xx) {
    if ($xx instanceof \DOMProcessingInstruction) {
        $xx->parentNode->removeChild($xx);
    }
}

Некоторые решения сказали мне, что для удаления xml заголовок, который мне пришлось выполнить

$dom->saveXML($dom->documentElement);

Это не сработало для меня, как для частичного документа (например, документ с двумя <p> теги), только один из <p> теги, куда возвращаются.

3

Источник

user1925574 08 ноя '19 в 16:38

Также можно кодировать, как показано ниже.... взято из https://davidwalsh.name/domdocument-utf8-problem

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML(mb_convert_encoding($profile, 'HTML-ENTITIES', 'UTF-8'));
echo $dom->saveHTML();

0

Источник

user6709111 17 мар '20 в 10:05

Это сработало для меня.

В php.ini файл измените следующее свойство.

Перед:

mbstring.encoding_transration = On

После:

mbstring.encoding_transration = Off

0

Источник

user13742758 17 июл '20 в 13:03

Проблема в том, что когда вы добавляете параметр в функцию DOMDocument::saveHTML(), вы теряете кодировку. В некоторых случаях вам нужно избегать использования параметра и использовать старую строковую функцию, чтобы найти то, что вы ищете.

Я думаю, что предыдущий ответ работает для вас, но так как этот обходной путь не работает для меня, я добавляю этот ответ, чтобы помочь людям, которые могут быть в моем случае.

-1

Источник

user343925 16 май '13 в 11:14

Попробуйте использовать http://php.net/utf8_encode

-3

Источник

user197606 21 ноя '11 в 21:11

Другие вопросы по тегам php utf-8 character-encoding

user283078 21 ноя '11 в 21:18 2011-11-21 21:18 · Accepted Answer · 2011-11-21 21:18

DOMDocument::loadHTML будет относиться к вашей строке как к ISO-8859-1, если вы не укажете иначе. Это приводит к тому, что строки UTF-8 интерпретируются неправильно.

Если ваша строка не содержит объявления кодировки XML, вы можете добавить его, чтобы строка была обработана как UTF-8:

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML('<?xml encoding="utf-8" ?>' . $profile);
echo $dom->saveHTML();

Если вы не можете знать, будет ли строка уже содержать такое объявление, в SmartDOMDocument есть обходной путь, который должен вам помочь:

$profile = '<p>イリノイ州シカゴにて、アイルランド系の家庭に、9</p>';
$dom = new DOMDocument();
$dom->loadHTML(mb_convert_encoding($profile, 'HTML-ENTITIES', 'UTF-8'));
echo $dom->saveHTML();

Это не лучший обходной путь, но, поскольку не все символы могут быть представлены в ISO-8859-1 (как эти катаны), это самая безопасная альтернатива.