Обнаружение неработающих символов в MySQL

Question

Обнаружение неработающих символов в MySQL

У меня есть база данных с кучей разбитых символов utf8, разбросанных по нескольким таблицам. Список персонажей не очень обширен AFAIK (фото)

Исправление данной таблицы очень просто

update orderItem set itemName=replace(itemName,'Ã¡','á');

Но я не могу найти способ обнаружить сломанных персонажей. Если я сделаю что-то вроде

SELECT * FROM TABLE WHERE field LIKE "%Ã%";

Я получаю почти все поля из-за сопоставления (М = а). Все сломанные символы до сих пор начинаются с "Ã". База данных на испанском языке, поэтому этот конкретный символ не используется

Список сломанных символов, которые у меня есть,

Ã¡ = á
Ã© = é
Ã- = í
Ã³ = ó
Ã± = ñ
Ã¡ = Á

Есть идеи, как заставить этот SELECT работать так, как задумано? (бинарный поиск или что-то в этом роде)

50

mysql utf-8

Источник

user92462 25 сен '09 в 09:32

16 ответов

Решение

Я исправил

UPDATE wp_zcs9ck_posts_copy SET post_title = 
    CONVERT(BINARY CONVERT(post_title USING latin1) USING utf8);

Полное решение: http://jonisalonen.com/2012/fixing-doubly-utf-8-encoded-text-in-mysql/

88

Источник

user450826 09 авг '13 в 01:36

UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã¡','á');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã¤','ä');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã©','é');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í©','é');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã³','ó');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'íº','ú');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ãº','ú');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã±','ñ');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í‘','Ñ');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã','í');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'â€“','–');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€™','\'');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€¦','...');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€“','-');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€œ','"');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€','"');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€˜','\'');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€¢','-');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€¡','c');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Â','');

42

Источник

user430943 25 авг '10 в 16:29

Спасибо за ваши ответы!

Я исправил свои таблицы с этим и хотел поделиться полным списком изменений. Обратите внимание, что это также включает исправление html-декодированных символов, кроме латинских, это был действительно беспорядок:

update `table` set `field` = replace(`field` ,'Ã‰','É');
update `table` set `field` = replace(`field` ,'â€œ','"');
update `table` set `field` = replace(`field` ,'â€','"');
update `table` set `field` = replace(`field` ,'Ã‡','Ç');
update `table` set `field` = replace(`field` ,'Ãƒ','Ã');
//Edit by slash4
update `table` set `field` = replace(`field` ,'Ã ','À');
update `table` set `field` = replace(`field` ,'Ãº','ú');
update `table` set `field` = replace(`field` ,'â€¢','-');
update `table` set `field` = replace(`field` ,'Ã˜','Ø');
update `table` set `field` = replace(`field` ,'Ãµ','õ');
-- The next one  appears to be missing a character. But which one?
update `table` set `field` = replace(`field` ,'Ã','í');
update `table` set `field` = replace(`field` ,'Ã¢','â');
update `table` set `field` = replace(`field` ,'Ã£','ã');
update `table` set `field` = replace(`field` ,'Ãª','ê');
update `table` set `field` = replace(`field` ,'Ã¡','á');
update `table` set `field` = replace(`field` ,'Ã©','é');
update `table` set `field` = replace(`field` ,'Ã³','ó');
update `table` set `field` = replace(`field` ,'â€“','–');
update `table` set `field` = replace(`field` ,'Ã§','ç');
update `table` set `field` = replace(`field` ,'Âª','ª');
update `table` set `field` = replace(`field` ,'Âº','º');
update `table` set `field` = replace(`field` ,'Ã ','à');
update `table` set `field` = replace(`field` ,'&ccedil;','ç');
update `table` set `field` = replace(`field` ,'&atilde;','ã');
update `table` set `field` = replace(`field` ,'&aacute;','á');
update `table` set `field` = replace(`field` ,'&acirc;','â');
update `table` set `field` = replace(`field` ,'&eacute;','é');
update `table` set `field` = replace(`field` ,'&iacute;','í');
update `table` set `field` = replace(`field` ,'&otilde;','õ');
update `table` set `field` = replace(`field` ,'&uacute;','ú');
update `table` set `field` = replace(`field` ,'&ccedil;','ç');
update `table` set `field` = replace(`field` ,'&Aacute;','Á');
update `table` set `field` = replace(`field` ,'&Acirc;','Â');
update `table` set `field` = replace(`field` ,'&Eacute;','É');
update `table` set `field` = replace(`field` ,'&Iacute;','Í');
update `table` set `field` = replace(`field` ,'&Otilde;','Õ');
update `table` set `field` = replace(`field` ,'&Uacute;','Ú');
update `table` set `field` = replace(`field` ,'&Ccedil;','Ç');
update `table` set `field` = replace(`field` ,'&Atilde;','Ã');
update `table` set `field` = replace(`field` ,'&Agrave;','À');
update `table` set `field` = replace(`field` ,'&Ecirc;','Ê');
update `table` set `field` = replace(`field` ,'&Oacute;','Ó');
update `table` set `field` = replace(`field` ,'&Ocirc;','Ô');
update `table` set `field` = replace(`field` ,'&Uuml;','Ü');
update `table` set `field` = replace(`field` ,'&atilde;','ã');
update `table` set `field` = replace(`field` ,'&agrave;','à');
update `table` set `field` = replace(`field` ,'&ecirc;','ê');
update `table` set `field` = replace(`field` ,'&oacute;','ó');
update `table` set `field` = replace(`field` ,'&ocirc;','ô');
update `table` set `field` = replace(`field` ,'&uuml;','ü');
update `table` set `field` = replace(`field` ,'&amp;','&');
update `table` set `field` = replace(`field` ,'&gt;','>');
update `table` set `field` = replace(`field` ,'&lt;','<');
update `table` set `field` = replace(`field` ,'&circ;','ˆ');
update `table` set `field` = replace(`field` ,'&tilde;','˜');
update `table` set `field` = replace(`field` ,'&uml;','¨');
update `table` set `field` = replace(`field` ,'&cute;','´');
update `table` set `field` = replace(`field` ,'&cedil;','¸');
update `table` set `field` = replace(`field` ,'&quot;','"');
update `table` set `field` = replace(`field` ,'&ldquo;','“');
update `table` set `field` = replace(`field` ,'&rdquo;','”');
update `table` set `field` = replace(`field` ,'&lsquo;','‘');
update `table` set `field` = replace(`field` ,'&rsquo;','’');
update `table` set `field` = replace(`field` ,'&lsaquo;','‹');
update `table` set `field` = replace(`field` ,'&rsaquo;','›');
update `table` set `field` = replace(`field` ,'&laquo;','«');
update `table` set `field` = replace(`field` ,'&raquo;','»');
update `table` set `field` = replace(`field` ,'&ordm;','º');
update `table` set `field` = replace(`field` ,'&ordf;','ª');
update `table` set `field` = replace(`field` ,'&ndash;','–');
update `table` set `field` = replace(`field` ,'&mdash;','—');
update `table` set `field` = replace(`field` ,'&macr;','¯');
update `table` set `field` = replace(`field` ,'&hellip;','…');
update `table` set `field` = replace(`field` ,'&brvbar;','¦');
update `table` set `field` = replace(`field` ,'&bull;','•');
update `table` set `field` = replace(`field` ,'&para;','¶');
update `table` set `field` = replace(`field` ,'&sect;','§');
update `table` set `field` = replace(`field` ,'&sup1;','¹');
update `table` set `field` = replace(`field` ,'&sup2;','²');
update `table` set `field` = replace(`field` ,'&sup3;','³');
update `table` set `field` = replace(`field` ,'&frac12;','½');
update `table` set `field` = replace(`field` ,'&frac14;','¼');
update `table` set `field` = replace(`field` ,'&frac34;','¾');
update `table` set `field` = replace(`field` ,'&#8539;','⅛');
update `table` set `field` = replace(`field` ,'&#8540;','⅜');
update `table` set `field` = replace(`field` ,'&#8541;','⅝');
update `table` set `field` = replace(`field` ,'&#8542;','⅞');
update `table` set `field` = replace(`field` ,'&gt;','>');
update `table` set `field` = replace(`field` ,'&lt;','<');
update `table` set `field` = replace(`field` ,'&plusmn;','±');
update `table` set `field` = replace(`field` ,'&minus;','−');
update `table` set `field` = replace(`field` ,'&times;','×');
update `table` set `field` = replace(`field` ,'&divide;','÷');
update `table` set `field` = replace(`field` ,'&lowast;','∗');
update `table` set `field` = replace(`field` ,'&frasl;','⁄');
update `table` set `field` = replace(`field` ,'&permil;','‰');
update `table` set `field` = replace(`field` ,'&int;','∫');
update `table` set `field` = replace(`field` ,'&sum;','∑');
update `table` set `field` = replace(`field` ,'&prod;','∏');
update `table` set `field` = replace(`field` ,'&radic;','√');
update `table` set `field` = replace(`field` ,'&infin;','∞');
update `table` set `field` = replace(`field` ,'&asymp;','≈');
update `table` set `field` = replace(`field` ,'&cong;','≅');
update `table` set `field` = replace(`field` ,'&prop;','∝');
update `table` set `field` = replace(`field` ,'&equiv;','≡');
update `table` set `field` = replace(`field` ,'&ne;','≠');
update `table` set `field` = replace(`field` ,'&le;','≤');
update `table` set `field` = replace(`field` ,'&ge;','≥');
update `table` set `field` = replace(`field` ,'&there4;','∴');
update `table` set `field` = replace(`field` ,'&sdot;','⋅');
update `table` set `field` = replace(`field` ,'&middot;','·');
update `table` set `field` = replace(`field` ,'&part;','∂');
update `table` set `field` = replace(`field` ,'&image;','ℑ');
update `table` set `field` = replace(`field` ,'&real;','ℜ');
update `table` set `field` = replace(`field` ,'&prime;','′');
update `table` set `field` = replace(`field` ,'&Prime;','″');
update `table` set `field` = replace(`field` ,'&deg;','°');
update `table` set `field` = replace(`field` ,'&ang;','∠');
update `table` set `field` = replace(`field` ,'&perp;','⊥');
update `table` set `field` = replace(`field` ,'&nabla;','∇');
update `table` set `field` = replace(`field` ,'&oplus;','⊕');
update `table` set `field` = replace(`field` ,'&otimes;','⊗');
update `table` set `field` = replace(`field` ,'&alefsym;','ℵ');
update `table` set `field` = replace(`field` ,'&oslash;','ø');
update `table` set `field` = replace(`field` ,'&Oslash;','Ø');
update `table` set `field` = replace(`field` ,'&isin;','∈');
update `table` set `field` = replace(`field` ,'&notin;','∉');
update `table` set `field` = replace(`field` ,'&cap;','∩');
update `table` set `field` = replace(`field` ,'&cup;','∪');
update `table` set `field` = replace(`field` ,'&sub;','⊂');
update `table` set `field` = replace(`field` ,'&sup;','⊃');
update `table` set `field` = replace(`field` ,'&sube;','⊆');
update `table` set `field` = replace(`field` ,'&supe;','⊇');
update `table` set `field` = replace(`field` ,'&exist;','∃');
update `table` set `field` = replace(`field` ,'&forall;','∀');
update `table` set `field` = replace(`field` ,'&empty;','∅');
update `table` set `field` = replace(`field` ,'&not;','¬');
update `table` set `field` = replace(`field` ,'&and;','∧');
update `table` set `field` = replace(`field` ,'&or;','∨');
update `table` set `field` = replace(`field` ,'&crarr;','↵');

23

Источник

user928023 04 сен '11 в 22:16

Никакая замена текста не является универсальным решением, потому что вы можете забыть какой-то символ. Более подходящее исправление для дважды преобразованных символов:

преобразовать обратно в латынь1
преобразовать в двоичный файл
конвертировать в utf8

Как это:

alter table descriptions modify name VARCHAR(2000) character set latin1;
alter table descriptions modify name blob;
alter table descriptions modify name VARCHAR(2000) character set utf8;

17

Источник

user504691 06 фев '12 в 12:08

SELECT Вы должны заявить следующее:

SELECT * FROM TABLE WHERE LENGTH(name) != CHAR_LENGTH(name);

Это возвращает все строки, которые содержат многобайтовые символы.

name Предполагается, что это поле / поле, в котором будут найдены странные символы. *

16

Источник

user727074 24 май '11 в 14:41

Это спасло мою жизнь

UPDATE ohp_posts SET post_content = CONVERT(CAST(CONVERT(post_content USING latin1) AS BINARY) USING utf8)

Я нашел это здесь http://stanis.net/2014/04/replacing-latin-1-with-utf-8-characters-in-mysql/

16

Источник

user1193038 12 ноя '14 в 17:38

Чтобы преобразовать все латинские символы в правильные акценты, попробуйте это в MySQL:

UPDATE your_table SET your_column = CONVERT(CAST(CONVERT(your_column USING latin1) AS BINARY) USING utf8)

7

Источник

user1708626 15 окт '20 в 12:09

У меня была такая же проблема, но мне не понравилось решение replace(), потому что всегда есть возможность пропустить некоторые символы. Я работал над столбцом со смешанными данными (некоторые были utf8_encode()d, а некоторые нет) с примерно 4 миллионами строк, около 250 тысяч записей с неправильно закодированными данными (с символами ‰/etc), охватывающими около 15 международных языков. В том числе в основном европейские языки, но также русский, японский и китайский.

Я начал с дублирования столбца, так как не хотел терять какие-либо данные:

ALTER TABLE images ADD COLUMN reptitle TEXT;

Скопированы все данные с многобайтовыми символами (спасибо Адаму за подсказку)

UPDATE images SET reptitle = title WHERE LENGTH(title) != CHAR_LENGTH(title)

Поскольку reptitle был создан с набором символов таблицы по умолчанию, он уже был utf8, но содержал поврежденные данные, так как таблица изображений раньше была латинским источником. Название колонки теперь содержит некоторые данные, которые правильно закодированы, а некоторые повреждены (все значения с многобайтовыми символами, некоторые были правильно utf8_encode () г. Итак, с советом Дэвида...

ALTER TABLE images MODIFY reptitle TEXT character set latin1;
ALTER TABLE images MODIFY reptitle BLOB;
ALTER TABLE images MODIFY reptitle TEXT character set utf8;

Средний шаг, возможно, не был необходим, так как текст и BLOB (я думаю) одинаковы. Это имело эффект исправления всех неправильно закодированных данных ("Ã©tudiantes" стало "étudiantes" и т. Д.), Но ранее верные данные были обрезаны до первого многобайтового символа ("Lapin de Pâques" стал "Lapin de P"). Я не знаю, почему усечение, но оно в одноразовой колонке, поэтому мне было все равно. Усеченные данные дают CHAR_LENGTH и LENGTH одинаковых значений, потому что нет многобайтовых символов, оставшихся таким простым запросом...

UPDATE images SET title = reptitle WHERE LENGTH(reptitle)!=CHAR_LENGTH(reptitle)

Тогда, конечно, просто бросьте запасную колонку

ALTER TABLE images DROP COLUMN reptitle

Также убедитесь, что (так как я использую PHP, и это несколько раз сбивало меня с толку, поэтому я подумал, что упомяну об этом здесь), все ваши файлы сценариев - UTF8 (без спецификации), и вы используете:

mysql_set_charset('utf8', $connection);

Et voilà... отлично отремонтированные данные, все языки:)

3

Источник

user1358220 02 июн '12 в 02:36

В дополнение к Раулю Авила Солано и ответу Acseven, если вы хотите обновить все неработающие символы в одном запросе, вы можете сделать:

update `table` set field = replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(replace(field,'&uuml;','ü'),'&ocirc;','ô'),'&oacute;','ó'),'&ecirc;','ê'),'&agrave;','à'),'&atilde;','ã'),'&Uuml;','Ü'),'&Ocirc;','Ô'),'&Oacute;','Ó'),'&Ecirc;','Ê'),'&Agrave;','À'),'&Atilde;','Ã'),'&Ccedil;','Ç'),'&Uacute;','Ú'),'&Otilde;','Õ'),'&Iacute;','Í'),'&Iacute;','Í'),'&Eacute;','É'),'&Acirc;','Â'),'&Aacute;','Á'),'&ccedil;','ç'),'&uacute;','ú'),'&otilde;','õ'),'&iacute;','í'),'&eacute;','é'),'&acirc;','â'),'&aacute;','á'),'&atilde;','ã'),'&ccedil;','ç'),'Ã ','à'),'Ã ','à'),'Âº','º'),'Âª','ª'),'Ã§','ç'),'â€“','–'),'Ã³','ó'),'Ã©','é'),'Ã¡','á'),'Ãª','ê'),'Ã£','ã'),'Ã¢','â'),'Ã','í'),'Ãµ','õ'),'Ã˜','Ø'),'â€¢','-'),'Ãº','ú'),'Ã ','À'),'Ãƒ','Ã'),'Ã‡','Ç'),'â€','"'),'â€œ','"'),'Ã‰','É');

2

Источник

user2456038 18 дек '13 в 00:09

Это также решило мою проблему на некоторых итальянских символах

UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã¡','á');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã¤','ä');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã©','é');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í©','é');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã³','ó');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'íº','ú');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ãº','ú');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã±','ñ');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í‘','Ñ');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Ã','í');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'â€“','–');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€™','\'');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€¦','...');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€“','-');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€œ','"');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€','"');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€˜','\'');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€¢','-');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name`,'â€¡','c');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'Â','');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í ','à');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í¨','è');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'íˆ','È');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'â‚¬','€');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'eÌ€','è');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í²','ò');
UPDATE `table_name` SET `column_name` = REPLACE(`column_name` ,'í¹','ù');

2

Источник

user5479106 23 окт '15 в 08:00

У вас могут быть строки с правильно закодированным UTF8 и неправильно закодированными символами. В этом случае "CONVERT(BINARY CONVERT(post_title USING latin1) USING utf8)" обрежет некоторые поля.

Я так и сделал

update `table` set `name` = replace(`name` ,CONVERT(BINARY "ä" USING latin1),'ä');
update `table` set `name` = replace(`name` ,CONVERT(BINARY "ö" USING latin1),'ö');
update `table` set `name` = replace(`name` ,CONVERT(BINARY "ü" USING latin1),'ü');
update `table` set `name` = replace(`name` ,CONVERT(BINARY "Ä" USING latin1),'Ä');
update `table` set `name` = replace(`name` ,CONVERT(BINARY "Ö" USING latin1),'Ö');
update `table` set `name` = replace(`name` ,CONVERT(BINARY "Ü" USING latin1),'Ü');
update `table` set `name` = replace(`name` ,CONVERT(BINARY "ß" USING latin1),'ß');

2

Источник

user8883403 03 ноя '17 в 23:51

Основываясь на данных этого поста https://www.i18nqa.com/debug/utf8-debug.html я бы посоветовал, что это хороший запрос для определения хитрых записей и возможных правильных значений:

SELECT my_field,CONVERT(BINARY CONVERT(my_field USING latin1) USING utf8mb4) AS new_field_value FROM my_table WHERE my_field REGEXP '[âÆËÅÂÃ]';

Будьте очень осторожны, потому что у нас была неправильная кодировка имени файла, но нормальная кодировка пути, и в этом случае некоторые из приведенных выше решений могли бы причинить боль. Если некоторые из ваших данных уже правильно закодированы в UTF8, вы, вероятно, обнаружите, что потеряли их.

1

Источник

user4991483 26 ноя '18 в 12:31

Это расширение ответа @Thales Ceolin для изменения каждой таблицы в БД:

select concat(
    "update ", 
    a.TABLE_NAME, 
    " set ", b.COLUMN_NAME, 
    " = CONVERT(BINARY CONVERT(", 
    b.COLUMN_NAME, 
    " USING latin1) USING utf8) where ",
    b.COLUMN_NAME, 
    " is not null;") query
from INFORMATION_SCHEMA.TABLES a
left join INFORMATION_SCHEMA.COLUMNS b on a.TABLE_NAME = b.TABLE_NAME
where a.table_schema = 'db_name'
and a.TABLE_TYPE = 'BASE TABLE'
and b.data_type in ('text', 'varchar')
and a.TABLE_NAME = 'table_name';

Это приведет к:

update table_name set idn = CONVERT(BINARY CONVERT(idn USING latin1) USING utf8) where idn is not null;
update table_nameset name = CONVERT(BINARY CONVERT(name USING latin1) USING utf8) where name is not null;
update table_name set primary_last_name = CONVERT(BINARY CONVERT(primary_last_name USING latin1) USING utf8) where primary_last_name is not null;

1

Источник

user1424329 19 апр '18 в 22:58

Этот запрос помог мне определить строки, в которых есть недопустимые символы. В основном вы определяете, где поле не является нулевым, затем конвертируете в UTF8 и проверяете значение null после преобразования.

select ach.*
from ach_warehouse ach
where addendum is not null and convert(addendum using utf8) is null;

0

Источник

user477494 14 окт '20 в 02:45

Средний шаг, возможно, не был необходим, так как TEXT а также BLOB подобные.

Это привело к исправлению всех неправильно закодированных данных, но ранее верные данные были обрезаны до первого многобайтового символа.

0

Источник

user1684777 20 сен '12 в 03:46

Есть хороший скрипт для автоматизации процесса конвертации во всей базе данных. Также полезно знать, что реализация MySQL UTF-8 является неполной, поскольку она поддерживает только символы UTF-8 длиной до 3 байтов. Решением является использование кодировки utf8mb4, представленной в MySQL 5.5.3.

0

Источник

user333340 05 апр '13 в 06:56

Поскольку основной вопрос был об обнаружении битых символов, мое решение: (чтобы предотвратить нормальное двойное кодирование charset)

Обнаружение (от латинского 1 до utf8)

SELECT name FROM %table% 
 WHERE 
CONVERT(CONVERT(name USING BINARY) USING utf8 ) != CONVERT(CONVERT(CONVERT(CONVERT(name USING BINARY) USING latin1) USING BINARY) USING utf8);

Обновление (с латиницы 1 до utf8)

UPDATE %table% SET name = convert(cast(convert(name using latin1 ) as binary) using utf8 )
 WHERE 
CONVERT(CONVERT(name USING BINARY) USING utf8 ) != CONVERT(CONVERT(CONVERT(CONVERT(name USING BINARY) USING latin1) USING BINARY) USING utf8);

0

Источник

user10037018 11 янв '19 в 11:24

Другие вопросы по тегам mysql utf-8

user10098 25 сен '09 в 12:36 2009-09-25 12:36 · Accepted Answer · 2009-09-25 12:36

Как насчет другого подхода, а именно преобразования столбца взад и вперед, чтобы получить правильный набор символов? Вы можете преобразовать его в двоичный файл, затем в utf-8, а затем в iso-8859-1 или что-то еще, что вы используете. Смотрите руководство для деталей.