preg_match и UTF-8 в PHP
Я пытаюсь найти строку в кодировке UTF8, используя preg_match.
preg_match('/H/u', "\xC2\xA1Hola!", $a_matches, PREG_OFFSET_CAPTURE);
echo $a_matches[0][1];
Это должно вывести 1, так как "H" находится в индексе 1 в строке "¡Hola!". Но он печатает 2. Таким образом, кажется, что он не рассматривает тему как строку в кодировке UTF8, хотя я передаю модификатор "u" в регулярном выражении.
У меня есть следующие настройки в моем php.ini, и другие функции UTF8 работают:
mbstring.func_overload = 7
mbstring.language = Neutral
mbstring.internal_encoding = UTF-8
mbstring.http_input = pass
mbstring.http_output = pass
mbstring.encoding_translation = Off
Есть идеи?
9 ответов
Похоже, это "особенность", см. http://bugs.php.net/bug.php?id=37391
Переключатель 'u' имеет смысл только для pcre, сам PHP не знает об этом.
С точки зрения PHP, строки представляют собой последовательности байтов, и возвращаемое смещение в байтах кажется логичным (я не говорю "правильно").
Хотя модификатор u делает и шаблон, и тему интерпретируемыми как UTF-8, захваченные смещения по-прежнему считаются в байтах.
Ты можешь использовать mb_strlen чтобы получить длину в UTF-8 символов, а не в байтах:
$str = "\xC2\xA1Hola!";
preg_match('/H/u', $str, $a_matches, PREG_OFFSET_CAPTURE);
echo mb_strlen(substr($str, 0, $a_matches[0][1]));
Попробуйте добавить это (*UTF8) перед регулярным выражением:
preg_match('(*UTF8)/H/u', "\xC2\xA1Hola!", $a_matches, PREG_OFFSET_CAPTURE);
Магия, благодаря комментарию в http://www.php.net/manual/es/function.preg-match.php
Извините за некропостинг, но, возможно, кто-то найдет его полезным: приведенный ниже код может работать как замена для функций preg_match и preg_match_all и возвращает правильные совпадения с правильным смещением для строк в кодировке UTF8.
mb_internal_encoding('UTF-8');
/**
* Returns array of matches in same format as preg_match or preg_match_all
* @param bool $matchAll If true, execute preg_match_all, otherwise preg_match
* @param string $pattern The pattern to search for, as a string.
* @param string $subject The input string.
* @param int $offset The place from which to start the search (in bytes).
* @return array
*/
function pregMatchCapture($matchAll, $pattern, $subject, $offset = 0)
{
$matchInfo = array();
$method = 'preg_match';
$flag = PREG_OFFSET_CAPTURE;
if ($matchAll) {
$method .= '_all';
}
$n = $method($pattern, $subject, $matchInfo, $flag, $offset);
$result = array();
if ($n !== 0 && !empty($matchInfo)) {
if (!$matchAll) {
$matchInfo = array($matchInfo);
}
foreach ($matchInfo as $matches) {
$positions = array();
foreach ($matches as $match) {
$matchedText = $match[0];
$matchedLength = $match[1];
$positions[] = array(
$matchedText,
mb_strlen(mb_strcut($subject, 0, $matchedLength))
);
}
$result[] = $positions;
}
if (!$matchAll) {
$result = $result[0];
}
}
return $result;
}
$s1 = 'Попробуем русскую строку для теста';
$s2 = 'Try english string for test';
var_dump(pregMatchCapture(true, '/обу/', $s1));
var_dump(pregMatchCapture(false, '/обу/', $s1));
var_dump(pregMatchCapture(true, '/lish/', $s2));
var_dump(pregMatchCapture(false, '/lish/', $s2));
Вывод моего примера:
array(1) {
[0]=>
array(1) {
[0]=>
array(2) {
[0]=>
string(6) "обу"
[1]=>
int(4)
}
}
}
array(1) {
[0]=>
array(2) {
[0]=>
string(6) "обу"
[1]=>
int(4)
}
}
array(1) {
[0]=>
array(1) {
[0]=>
array(2) {
[0]=>
string(4) "lish"
[1]=>
int(7)
}
}
}
array(1) {
[0]=>
array(2) {
[0]=>
string(4) "lish"
[1]=>
int(7)
}
}
Вы можете вычислить реальное смещение UTF-8, обрезав строку до смещения, возвращаемогоpreg_machс подсчетом байтовsubstrа затем измерить этот префикс с помощью правильного подсчетаmb_strlen.
$utf8Offset = mb_strlen(substr($text, 0, $offsetFromPregMatch), 'UTF-8');
Если все, что вам нужно, это найти многобайтовую безопасную позицию H, попробуйте mb_strpos()
mb_internal_encoding('UTF-8');
$str = "\xC2\xA1Hola!";
$pos = mb_strpos($str, 'H');
echo $str."\n";
echo $pos."\n";
echo mb_substr($str,$pos,1)."\n";
Выход:
¡Hola!
1
H
Возможно, вы захотите взглянуть на библиотеку T-Regx.
pattern('H', 'u')->match('\xC2\xA1Hola!')->first(function (Match $match)
{
echo $match->offset();
});
это $match->offset() UTF-8 безопасное смещение.
Я написал небольшой класс для преобразования смещений, возвращаемых preg_match, в правильные смещения utf:
final class NonUtfToUtfOffset
{
/** @var int[] */
private $utfMap = [];
public function __construct(string $content)
{
$contentLength = mb_strlen($content);
for ($offset = 0; $offset < $contentLength; $offset ++) {
$char = mb_substr($content, $offset, 1);
$nonUtfLength = strlen($char);
for ($charOffset = 0; $charOffset < $nonUtfLength; $charOffset ++) {
$this->utfMap[] = $offset;
}
}
}
public function convertOffset(int $nonUtfOffset): int
{
return $this->utfMap[$nonUtfOffset];
}
}
Вы можете использовать это так:
$content = 'aą bać d';
$offsetConverter = new NonUtfToUtfOffset($content);
preg_match_all('#(bać)#ui', $content, $m, PREG_OFFSET_CAPTURE);
foreach ($m[1] as [$word, $offset]) {
echo "bad: " . mb_substr($content, $offset, mb_strlen($word))."\n";
echo "good: " . mb_substr($content, $offsetConverter->convertOffset($offset), mb_strlen($word))."\n";
}
Проблема была решена для меня просто использованием случайного substr вместо ожидаемого mb_substr (PHP 7.4).
mb_substr вместе с preg_match_all / PREG_OFFSET_CAPTURE (несмотря на использование или отсутствие модификатора /u ) приводили к неправильной позиции, когда текст содержал символ знака евро (€) .
Также не помогли iconv и utf8_encode , и я не смог использовать htmlentities .
Простой возврат к простому substr помог, и он правильно работал с € и другими символами.