Ruby `split': неверная последовательность байтов в UTF-8 (ArgumentError)

Question

Ruby `split': неверная последовательность байтов в UTF-8 (ArgumentError)

Я пытаюсь заполнить объект фильма, но при разборе u.item файл я получаю эту ошибку:

`split ': недопустимая последовательность байтов в UTF-8 (ArgumentError)

File.open("Data/u.item", "r") do |infile|
            while line = infile.gets
                line = line.split("|")
            end
end

Ошибка возникает только при попытке разбить строки с причудливой международной пунктуацией.

Вот образец

543|Misérables, Les (1995)|01 января 1995||http://us.imdb.com/M/title-exact?Mis%E9rables%2C%20Les%20%281995%29|0|0|0|0|0|0|0|0|1|0|0|0|1|0|0|0|0|0|0

Есть ли работа вокруг??

22

ruby character-encoding argument-error

Источник

user1452307 16 июн '12 в 18:22

2 ответа

Другие вопросы по тегам ruby character-encoding argument-error

user1452307 17 июн '12 в 14:07 2012-06-17 14:07 · Answer 1 · 2012-06-17 14:07

Мне пришлось принудительно назначить кодировку каждой строки iso-8859-1 (это европейский набор символов)... http://en.wikipedia.org/wiki/ISO/IEC_8859-1

a=[]
IO.foreach("u.item") {|x| a << x}
m=[]
a.each_with_index {|line,i| x=line.force_encoding("iso-8859-1").split("|"); m[i]=x}

21

Источник

user1452307 17 июн '12 в 14:07

user1301972 16 июн '12 в 18:42 2012-06-16 18:42 · Answer 2 · 2012-06-16 18:42

Ruby несколько чувствителен к проблемам кодировки символов. Вы можете сделать ряд вещей, которые могут решить вашу проблему. Например:

Поместите комментарий кодировки вверху вашего исходного файла.
```
# encoding: utf-8
```
Явно закодируйте свою строку перед разделением.
```
line = line.encode('UTF-8').split("|")
```
Замените недопустимые символы вместо вызова исключения Encoding::InvalidByteSequenceError.
```
line.encode('UTF-8', :invalid => :replace).split("|")
```

Попробуйте эти предложения и обновите свой вопрос, если ни один из них не работает для вас. Надеюсь, поможет!