YAML-кодирование искаженной строки, проблемы с сериализацией модели

Я выделил проблему с Ruby on Rails, когда модель с сериализованным столбцом неправильно загружает данные, которые были сохранены в ней.

В результате получается Hash, а в результате получается строка YAML, которую невозможно проанализировать из-за проблем с форматированием. Я ожидаю, что сериализатор может правильно хранить и извлекать все, что вы ему даете, так что, похоже, что-то пошло не так.

Рассматриваемая проблемная строка отформатирована примерно так:

message_text = <<END

  X
X
END

yaml = message_text.to_yaml

puts yaml
# =>
# --- |
#
#   X
# X

puts YAML.load(yaml)
# => ArgumentError: syntax error on line 3, col 0: ‘X’

Сочетание новой строки, второй строки с отступом и третьей строки без отступа приводит к сбою синтаксического анализатора. Пропуск пустой строки или отступа, по-видимому, исправляет проблему, но, похоже, это ошибка в процессе сериализации. Поскольку это требует довольно уникального набора обстоятельств, я готов поспорить, что это какой-то странный крайний случай, который не обрабатывается должным образом.

Модуль YAML, который поставляется с Ruby и используется Rails, по-видимому, делегирует большую часть обработки Syck, но предоставляет Syck некоторые подсказки относительно того, как кодировать данные, которые он отправляет.

В yaml/rubytypes.rb есть определение String#to_yaml:

class String
  def to_yaml( opts = {} )
    YAML::quick_emit( is_complex_yaml? ? self : nil, opts ) do |out|
      if is_binary_data?
        out.scalar( "tag:yaml.org,2002:binary", [self].pack("m"), :literal )
      elsif to_yaml_properties.empty?
        out.scalar( taguri, self, self =~ /^:/ ? :quote2 : to_yaml_style )
      else
        out.map( taguri, to_yaml_style ) do |map|
          map.add( 'str', "#{self}" )
          to_yaml_properties.each do |m|
            map.add( m, instance_variable_get( m ) )
          end
        end
      end
    end
  end
end

Там, кажется, есть проверка для строк, которые начинаются с ':' и могут быть перепутаны как Symbol при десериализации, а опция:quote2 должна быть указанием заключить его в кавычки во время процесса кодирования. Настройка этого регулярного выражения для захвата описанных выше условий, по-видимому, не влияет на вывод, поэтому я надеюсь, что кто-то, более знакомый с реализацией YAML, может посоветовать.

Источник

2 ответа

Решение

Да, это похоже на ошибку в библиотеке Syck. Я проверил это, используя привязки PHP syck (v 0.9.3): http://pecl.php.net/package/syck и такая же ошибка присутствует, указывая, что это ошибка в библиотеке, а не ruby ​​yaml привязки библиотеки или рубина:

// phptestsyck.php
<?php
$message_text = "

  X
X
";

syck_load(syck_dump($message_text));
?>

Запуск этого в Cli дает то же самое SyckException:

$ php phptestsyck.php 
PHP Fatal error:  Uncaught exception 'SyckException' with message 'syntax error on line 5, col 0: 'X'' in /.../phptestsyck.php:8
Stack trace:
#0 /.../phptestsyck.php(8): syck_load('--- %YAML:1.0 >...')
#1 {main}
  thrown in /.../phptestsyck.php on line 8

Итак, я полагаю, вы могли бы попытаться исправить сам Syck. Похоже, что библиотека не обновлялась с v0.55 в мае 2005 года ( http://rubyforge.org/projects/syck/).

Кроме того, существует чисто-ruby-парсер yaml под названием RbYAML ( http://rbyaml.rubyforge.org/), созданный с помощью JRuby, в котором, похоже, нет этой ошибки:

>> require 'rbyaml'
=> true
>> message_text = <<END

  X
X
END
=> "\n  X\nX\n"
>> yaml = RbYAML.dump(message_text)
=> "--- "\\n  X\\nX\\n"\n"
>> RbYAML.load(yaml)
=> "\n  X\nX\n"
>>

Наконец, вы рассматривали другой формат сериализации в целом? Библиотека Ruby Marshal также не имеет этой ошибки и работает быстрее, чем Yaml (см. http://significantbits.wordpress.com/2008/01/29/yaml-vs-marshal-performance/):

>> message_text = <<END

  X
X
END
=> "\n  X\nX\n"
>> marshal = Marshal.dump(message_text)
=> "\004\b"\f\n  X\nX\n"
>> Marshal.load(marshal)
=> "\n  X\nX\n"
Источник

Вы должны отказаться от легкого serialize Для этого используется метод ActiveRecord::Base, но нетрудно использовать собственную схему сериализации. Например, для сериализации некоторого поля с именем person_data:

class Person < ActiveRecord::Base
 def person_data
    self[:person_data] ? Marshal.load(self[:person_data]) : nil
  end

  def person_data=(x)
    self[:person_data] = Marshal.dump(x)
  end
end

## User Person#person_data as normal and it is transparently marshalled
p = Person.find 1
p.person_data = {:color => "blue", :food => "vegetarian"}

(Смотрите эту рубиновую ветку форума для более)

Источник
Другие вопросы по тегам