Как конвертировать кодировку символов с помощью ruby 1.9
В настоящее время у меня проблемы с результатами Amazon API.
служба возвращает строку с символами Юникода: Learn Objective \ xE2 \ x80 \ x93C на Mac (серия Learn)
с ruby 1.9.1 строка даже не может быть обработана:
REXML::ParseException: #<Encoding::CompatibilityError: incompatible encoding regexp match (UTF-8 regexp with ASCII-8BIT string)>
...
Exception parsing
Line: 1
Position: 1636
Last 80 unconsumed characters:
Learn Objective–C on the Mac (Learn Series)
2 ответа
В качестве исключительной ситуации ваша строка кодируется в ASCII-8BIT. Вы должны изменить кодировку. Существует долгая история об этом, но если вы заинтересованы в быстром решении, просто force_encoding в строке перед любой обработкой:
s = "Learn Objective\xE2\x80\x93C on the Mac"
# => "Learn Objective\xE2\x80\x93C on the Mac"
s.encoding
# => #<Encoding:ASCII-8BIT>
s.force_encoding 'utf-8'
# => "Learn Objective–C on the Mac"
Решение Младена работает, если все, что закодировано в ASCII-8BIT, действительно может быть преобразовано непосредственно в UTF-8. Он прерывается, когда есть символы, которые 1) недопустимы или 2) не определены в UTF-8. Тем не менее, это будет работать (в 1.9.2 и выше:
new_str = s.encode('utf-8', 'binary', :invalid => :replace,
:undef => :replace, :replace => '')
ASCII-8BIT является по сути двоичным. Этот код преобразует кодировку в UTF-8, при этом правильно обрабатывая недопустимые и неопределенные символы. Опция:invalid указывает, что недопустимые символы должны быть заменены. Опция: undef указывает, что неопределенные символы должны быть заменены. А опция: replace определяет, на что следует заменить недопустимые или неопределенные символы. В этом случае я решил просто удалить их.