Описание тега kryo
Kryo - это быстрая и эффективная среда сериализации объектных графов для Java. Цели проекта - скорость, эффективность и простой в использовании API. Проект полезен в любое время, когда необходимо сохранить объекты, будь то в файле, базе данных или по сети.
0
ответов
Сериализованный класс не нашел исключения в Apache Storm
У меня есть штормовое приложение и пользовательский класс POJO (Alerts). Я добавил этот класс в объект конфигурации шторма. Класс оповещений реализует java.io.Serailable интерфейс и он также имеет serialVersionUID, conf.registerSerialization(Alerts.…
06 ноя '15 в 15:47
2
ответа
Сериализатор Kryo вызывает исключение для базового класса Scala WrappedArray
Два вопроса, ответ на общий, поможет мне понять, насколько я могу сделать MVCE. 1) Как я могу узнать, как зарегистрировать WrappedArray (и любой другой класс в Scala, который я мог бы использовать)? Нормально ли регистрировать классы из библиотек в …
12 янв '16 в 06:03
2
ответа
Как сериализовать поле непримитивного типа (ваш собственный класс) в топологии Storm?
При запуске моего проекта Storm выдается следующее исключение: java.lang.RuntimeException: java.io.NotSerializableException: com.youtab.dataType.id.GUID at backtype.storm.serialization.DefaultSerializationDelegate.serialize(DefaultSerializationDeleg…
03 ноя '15 в 17:02
1
ответ
com.esotericsoftware.kryo кросс-версия совместимость
У меня есть несколько приложений в конвейере данных, которые используют Кафку в качестве системы очередей. Если приложение-производитель на java7, использующее kryo 2.22, создает kafka (java7), то сможет ли приложение-потребитель на java8, использую…
29 авг '16 в 17:36
5
ответов
Как я могу передавать сообщения в другой поток без использования очереди блокировки?
У меня довольно простой сервер (использующий крионет). Клиенты хранят только текущее состояние автомобиля (x,y, угол и т. Д.) И отправляют запросы на ускорение и поворот. Сервер получает запросы и добавляет их в ArrayBlockingQueue, который физически…
06 ноя '11 в 23:12
0
ответов
com.esotericsoftware.kryo.KryoException: невозможно найти класс: (
В настоящее время я сталкиваюсь со следующим исключением: eglSurfaceAttrib not implemented Failed to set EGL_SWAP_BEHAVIOR on surface 0x9e878060, error=EGL_SUCCESS com.esotericsoftware.kryo.KryoException: Unable to find class: ����( Serialization tr…
22 мар '16 в 10:50
1
ответ
Неправильный тип времени выполнения в RDD при чтении из avro с помощью специального сериализатора
Я пытаюсь прочитать данные из файлов avro в RDD, используя Kryo. Мой код компилируется нормально, но во время выполнения я получаю ClassCastException, Вот что делает мой код: SparkConf conf = new SparkConf()... conf.set("spark.serializer", KryoSeria…
24 янв '17 в 18:57
1
ответ
Отсутствует класс регистрации искры крио
При форсировании регистрации крио через spark.kryo.registrationRequired", "true" в спарк 2.2 моя ошибка Class is not registered: org.apache.spark.sql.catalyst.InternalRow[] даже при использовании: .registerKryoClasses( Array(classOf[scala.collection…
25 май '18 в 14:46
2
ответа
Java: Как заставить upcast?
Я использую библиотеку Kryo для сериализации в Java. У меня есть проблема, когда у меня нет возможности заставить вытеснить. Вот пример ситуации: class A {} class B extends A {} public save() { Kryo kryo = new Kryo(); kryo.setRegistrationRequired(tr…
10 мар '14 в 02:36
2
ответа
Scala - получить класс для специализированного класса
Мне нужно получить объект класса для специализированного класса. например import breeze.linalg.DenseVector val compileTimeClass = classOf[DenseVector[Double]] println(compileTimeClass) val denseVector = DenseVector(0.5, 1.0, 1.0, 0.5) println(denseV…
04 окт '16 в 15:35
1
ответ
Kryo сериализация отказывается регистрировать класс
Я пытаюсь использовать сериализацию крио с: kryo.setRegistrationRequired(true); Я продолжаю получать следующую ошибку, говоря, что определенный класс не зарегистрирован: java.lang.IllegalArgumentException: Class is not registered: com.my.package.MyC…
25 фев '14 в 22:17
1
ответ
Как сериализовать объект Exception с помощью Kyro?
У меня есть следующие пользовательские исключения, которые мне нужно сериализовать с помощью библиотеки крио. public class CustomException extends Exception { public CustomException(){} } Это мой серализатор Kryo kryo = new Kryo(); kryo.writeClassAn…
22 дек '15 в 06:16
0
ответов
Использование kryo для пользовательской сериализации Java-объекта в Kafka
Я пытаюсь отправить объект Java с помощью сериализатора объекта Kryo. Я сталкиваюсь с несколькими проблемами. Во-первых, я не могу расширить kryo для сериализации Java-бина, который является моей полезной нагрузкой. Вот пользовательский сериализатор…
07 сен '16 в 06:20
1
ответ
Крио байтовый уровень
Я храню JSON в таблице (на самом деле это семейство столбцов Кассандры) следующим образом: ____________________________________________________________________ | || prop1 | prop2 | ... | | collection_id || [val1, val2, ...] | [val1, val2, ...] | ...…
04 ноя '15 в 00:12
1
ответ
Как зарегистрировать StringType$, используя сериализатор kryo в spark
Я пытаюсь использовать Kryo сериализатор в искре. Я поставил spark.kryo.registrationRequired=true чтобы убедиться, что я регистрирую все необходимые классы. Помимо требования, чтобы я зарегистрировал свои собственные классы, он также просит меня зар…
17 мар '17 в 21:05
1
ответ
Крис десериализации HashMap не удается с Spark
У меня есть класс Java, который имеет несколько String поля и один HashMap поле. Я сериализую объекты этого класса с сериализацией Kryo по умолчанию и храню их в HBase. После прочтения их в памяти, десериализация в flatMap Функция СДР в Spark выдает…
22 июн '16 в 09:56
1
ответ
Kryo Serialization Проблема с коллекцией в поле ProtoBuf
Я получаю объект protobuf от Kafka в моем приложении Spark (v1.6.1), которое использует сериализатор Kryo. Объект protobuf выглядит примерно так: private A() { abc_ = ""; xyz_ = ""; ... some more fields aList_ = java.util.Collections.emptyList(); ..…
17 окт '17 в 19:33
1
ответ
Java 8 Base64 потоковая обертка ест последние два символа?
У меня есть следующий код: public static String encode(Object object) { final String result; try (ByteArrayOutputStream bOut = new ByteArrayOutputStream(); Output output = new Output(bOut)) { KRYO.writeObject(output, object); output.flush(); result …
26 сен '16 в 22:01
3
ответа
Spark & Drools - Как сериализовать KieBase с Kryo
Я работаю в исключении, пытаясь сериализовать KieBase объект в Spark. Когда я выполняю следующий код: val kieBase = kieContainer.getKieBase val broadcastKieBase = spark.sparkContext.broadcast(kieBase) ConcurrentModificationException Поднялся Исключе…
19 июн '17 в 16:47
0
ответов
Spark 2.2.0 периодически создает `org.apache.spark.SparkException: не удалось зарегистрировать классы с ошибкой Kryo`
Я запускаю приложение Spark в кластерном режиме через spark-submit, и у меня есть специальный регистратор Kryo. JAR построен с sbt "+assembly", Иногда, после некоторого запуска задания, некоторые исполнители будут выдавать ошибки, подобные приведенн…
30 авг '17 в 01:54