Описание тега avro4s

Описание тега Вопросы с тегом
Генерация и сериализация / десериализация схемы Scala avro.
1 ответ

Test.scala:1: неиспользованный пакет импорта test.avro

У меня есть небольшой тестовый класс, как это: package test.avro object Test extends App { import java.io.ByteArrayOutputStream import com.sksamuel.avro4s.AvroOutputStream case class Composer(name: String, birthplace: String, compositions: Seq[Strin…
01 окт '16 в 12:30
0 ответов

Scala: Как преобразовать вложенные / сложные данные в avro, используя avro4s?

У меня есть Scala 2.12 и я импортировал библиотеку avro4s, перейдя по ссылке для моего требования. По сути, моя схема avro выглядит следующим образом: { "type":"record", "name":"SaNative", "fields":[ { "name":"header", "type":{ "type":"record", "nam…
01 мар '19 в 21:52
1 ответ

Генерировать avsc avro схему из класса дел в scala при сборке

Я хочу сгенерировать авро-схему из класса дел Scala. Предположим, у меня есть следующий класс случая scala: case class User(name : String, favorite_number: Int, favorite_color: String) Связанная схема avro: {"namespace": "example.avro", "type": "rec…
31 янв '19 в 15:02
2 ответа

Создание схемы AVRO из файла схемы JSON

У меня есть файл JSON и схема JSON для анализа в схеме AVRO. Я немного запутался, нужно ли мне писать схему AVRO вручную, используя типы данных, определенные в документации AVRO. Или есть какой-нибудь автоматизированный метод / функция / программа, …
18 апр '16 в 09:18
1 ответ

Проверка данных в AVRO

Я новичок в AVRO и прошу извинить меня, если это простой вопрос. У меня есть случай, когда я использую схему AVRO для записи звонков. Допустим, у меня есть авро схема { "name": "abc", "namepsace": "xyz", "type": "record", "fields": [ {"name": "CustI…
17 май '16 в 14:31
0 ответов

Создать классы дел Scala с именами и полями верблюдов через sbt-avrohugger

Можно ли указать sbt-avrohugger генерировать классы дел с именем и полями в случае верблюда, а не с форматом по умолчанию, указанным в файлах схемы Avro?
27 июн '18 в 14:36
0 ответов

avro4s не может десериализовать AnyRef

У меня есть простой класс дела case class KafkaContainer(key: String, payload: AnyRef) тогда я хочу отправить это в тему kafka через производителя я делаю это val byteArrayStream = new ByteArrayOutputStream() val output = AvroOutputStream.binary[Kaf…
01 авг '18 в 15:03
0 ответов

AvroTypeException: при записи в python3

Мой файл avsc выглядит следующим образом: {"type":"record", "namespace":"testing.avro", "name":"product", "aliases":["items","services","plans","deliverables"], "fields": [ {"name":"id", "type":"string" ,"aliases":["productid","itemid","item","produ…
29 мар '17 в 18:48
1 ответ

Создать класс плоского регистра из схемы avro, которая содержит более 254 полей

Я работаю над плоской схемой, внутри нет вложенного типа, и в ней более 254 полей. Цель: то, что я хочу сделать, - это автоматически преобразовать схему такого типа в класс плоского случая с помощью конкретного генератора. Проблема: длина списка пар…
23 ноя '17 в 15:11
1 ответ

Есть ли способ поддержать эволюцию схемы в avro4s

Есть ли способ прочитать bytesArray через AvroInputStream.binary API и как-то указать версию писателя? val in = new ByteArrayInputStream(bytesFromFile) val input = AvroInputStream.binary[newClass](in)// old ? val result = input.iterator.toSeq другим…
23 мар '17 в 09:25
1 ответ

Авро сериализация с выпуском универсального типа

Мне нужно написать функцию в Scala, которая возвращает массив байтов, сериализованный с AvroOutputStream, но в scala я не могу получить класс универсального объекта, который я передаю во входные данные. Вот мой класс утилит: class AvroUtils { def cr…
22 фев '18 в 12:28
1 ответ

Проблемы с обновлением схемы AVRO

У меня есть простой класс дела: case class User(id: String, login: String, key: String) я добавляю поле "имя" case class User(id: String, login: String, name: String, key: String) затем добавьте это поле в схему avro (user.avsc) { "namespace": "test…
09 июл '18 в 09:02
1 ответ

Схема в авро сообщении

Я вижу, что в сообщения Avro встроена схема, а затем данные в двоичном формате. Если отправлено несколько сообщений и для каждого сообщения создаются новые avro-файлы, разве схема не встраивает накладные расходы? Итак, значит ли это, что для продюсе…
22 июл '18 в 19:44
0 ответов

Avro4s универсальный toByteArray / fromByteArray

У меня проблемы с универсальной версией функций toByteArray / fromByteArray для Avro4s Я нашел эту сериализацию Avro с проблемой общего типа это работает: def fromByteArray[A: SchemaFor : FromRecord](bytes: Array[Byte]): Option[A] = { val in: ByteAr…
27 июл '18 в 08:45
0 ответов

Avro4S: ошибка при десериализации абстрактных типов данных (не удалось найти неявное значение для параметра подтверждения типа FromRecord)

Я использую avro4s https://github.com/sksamuel/avro4s Я написал этот код import java.io.ByteArrayOutputStream import com.sksamuel.avro4s._ sealed trait Dibble case class Dobble(str: String) extends Dibble case class Dabble(dbl: Double) extends Dibbl…
15 фев '17 в 14:03
2 ответа

Avro запись с любым типом поля в Scala

Скажем, у меня есть простая пара ключ-значение в Avro, где значение может быть float, double, int, string так далее; {"namespace": "com.namespace.kafka.event", "type": "record", "name": "RecordName", "fields": [ {"name": "key", "type": "String"}, {"…
12 сен '16 в 00:27
1 ответ

Не удалось найти неявное значение для FromRecord

Я пытаюсь начать работу с avro & avro4s, и у меня возникают проблемы с работой глупого примера. Я даже не могу получить свою собственную версию теста, найденную в исходном репозитории, для компиляции - https://github.com/sksamuel/avro4s/blob/master/…
24 июл '17 в 09:04
1 ответ

Преобразование данных для поля с использованием AVRO

Я новичок в AVRO. Мы начали использовать схему AVRO для чтения данных. Теперь у нас есть случай, когда мне нужно обрезать данные во время чтения. Предположим, что мое avro schcema такое { "name": "table", "namepsace": "csd", "type": "record", "field…
09 фев '17 в 05:59
2 ответа

CSV в Авро без Apache искры в Скала

Есть ли способ, которым я могу конвертировать файл SCV в Avro без использования Apache Spark. Я вижу, что большая часть поста предлагает использовать искру, что я не могу в моем случае. У меня есть схема в отдельном файле. Я думал о каком-то настраи…
07 июл '17 в 13:33
1 ответ

Avro4S: не удалось найти неявное значение для компоновщика параметров

Я использую avro4s https://github.com/sksamuel/avro4s Я написал этот код implicit val schema = AvroSchema[SalesRecord] val output = AvroOutputStream[SalesRecord](new File(outputLocation)) output.write(salesList) output.flush output.close Но я получа…
06 фев '16 в 00:29