Описание тега avsc
Реализация спецификации Avro на чистом JavaScript.
0
ответов
Преобразование из файла.avsc в файл Java с использованием Maven
Я создал .avsc файл и я объявил следующее поле: { "name": "event_time", "type": { "type" : "long", "logicalType": "timestamp-millis"}, "doc": "The timestamp when the event was registered." } Когда package инструкция от maven выполняется, создается с…
18 дек '17 в 13:40
2
ответа
Как использовать avro данные со старым и новым пространством имен
Я столкнулся с проблемой, когда я обновил пространство имен в моем файле схемы avsc. Так как мы использовали общий процессор, созданный в Java, для разбора XML на avro и использовали файл avsc. Мы разделили интерфейсы и создали 2 разных пространства…
04 авг '17 в 21:35
1
ответ
Создать таблицу Hive из AVSC, которая содержит ссылку на ранее определенную схему как тип
Я ищу способ найти в Hive следующее содержимое файла AVSC и экстернализовать вложенную схему "RENTALRECORDTYPE" для повторного использования схемы. { "type": "record", "name": "EMPLOYEE", "namespace": "", "doc": "EMPLOYEE is a person that works here…
15 дек '17 в 16:07
0
ответов
Python - Как преобразовать файл.txt/.csv, содержащий схему таблицы, в файл.avsc
Необходимо извлечь схему таблицы (используя столбцы description \list) в файл.txt или.csv, а затем преобразовать эти файлы в файл.avsc(схема avro) с помощью python. sample.txt: COLUMN_NAME | TYPE_NAME | DEC & | NUM & | COLUM & | COLUMN_DEF | CHAR_OC…
16 окт '18 в 05:22
0
ответов
Как указать индексированный столбец Mongo DB в файле Avro avsc
Мы используем файл avsc для создания схемы mongo db, для улучшения обработки запросов мы хотим добавить индексирование к многостолбцовому документу mongo db. Есть ли способ, которым мы можем указать индексированный столбец Mongo DB в файле Avro avsc…
30 апр '18 в 12:47
0
ответов
Как обрабатывать тип.csv, чтобы не форматировать все данные в строковом формате?
Я пытаюсь создать AVRO файл с помощью AVSC файла и CSV через Python. но преобразование не удается из-за несоответствия схемы. Причиной этой проблемы является формат.csv по умолчанию форматирование данных в строку. sample.avsc { "namespace":"somename…
20 фев '19 в 12:22
0
ответов
Как читать и манипулировать схемой Avro (формат avsc)
Я хочу использовать схему Avro и читать ее на python. Не удается прочитать схему. Выдает ошибку import avro.schema from avro.datafile import DataFileReader, DataFileWriter from avro.io import DatumReader, DatumWriter schema = avro.schema.Parse(open(…
21 июн '18 в 18:28
1
ответ
Создание схемы Avro без класса (-Object)
В данный момент я сериализую класс в схему avsc. Это работает довольно хорошо: DatasetDescriptor desc = new DatasetDescriptor.Builder().schema(ClassName.class).build(); Но мне нужно создать AVSC без какого-либо данного класса динамически. Это возмож…
09 ноя '17 в 09:40
0
ответов
Невозможно преобразовать RDD[Java-класс] в Dataframe в Spark Scala
У меня есть avro сообщение и .avsc файл. Я создал класс Java из .avsc файл. Теперь я хочу преобразовать сообщение avro(json) во фрейм данных. Я прочитал сообщение. Сообщение успешно декодировано, и я получил RDD[Product], но не могу преобразовать RD…
08 июн '19 в 14:38
1
ответ
Обрабатывать общую схему в avro при генерации кода с помощью плагина avro maven
Я использую плагин Avro Maven для генерации Java-кода для файла схемы AVRO. AVSC, у меня есть одна общая схема, которая используется в нескольких местах в качестве отдельной записи, когда я даю разные пространства имен в каждом месте, он может генер…
08 авг '19 в 06:27
0
ответов
Схема xsd парсера Python в схему avro (.avsc)
Привет, мне нужен синтаксический анализатор или модуль в python3, который принимает на вход файл схемы.xsd и конвертирует его, возможно, в json и AVSC. Я ищу в Google, но не нахожу. Те же советы для меня? Мне нужно разработать также сложный шрифт.. …
03 дек '19 в 11:01
2
ответа
Зарегистрируйте новую схему avro с помощью API-интерфейса схемы Kafka
Я пытаюсь создать новый schema используя kafka-schema-registeryapi. Ниже представлена реализация: let value = JSON.stringify(avroSchema); let type= {"schema" : value}; fetch(`${process.env.SCHEMA_REGISTRY_URL}/subjects/${topic}/versions`, { body :…
14 май '20 в 15:43
0
ответов
У меня вопрос об импорте файлов avsc в другие файлы avsc
Я только начал с avro и avsc, но у меня есть вопрос по этому поводу. В моем сообщении есть свойство, которое представляет собой массив элементов другого настраиваемого типа записи. Я также могу поместить эту запись в файл avsc и указать на нее так: …
12 июн '20 в 17:03
0
ответов
Преобразование входного json в правый json по схеме AVRO
У меня есть файл json: { "a": 50, "b": "ffff" } И схема: { "fields": [ { "type": "int", "name": "a" }, { "type": "string", "name": "b&…
03 июл '20 в 13:08
1
ответ
Схема avro получает неопределенное имя типа при использовании типа записи
Поэтому я пытаюсь разобрать объект с помощью этой схемы avro. объект похож на: myInfo: {size: 'XL'} Но он ведет себя так, будто тип записи на самом деле не существует, и я получаю undefined type name: data.platform_data.test_service.result.record at…
23 июл '20 в 11:02
1
ответ
Spark: Как использовать схему Avro для создания набора данных?
У меня есть набор файлов avro, сохраненных в aws S3 с известной схемой, определенной в файле.avsc. Есть ли способ создать набор данных объектов в искре с определенной схемой? Схема выглядит так: { "type" : "record", "name" : "NameRecord", "namespace…
07 янв '20 в 22:24
1
ответ
Avro - Добавить документ / описание для каждого поля
Мы используем avro для определения нашей схемы. Можно ли добавить описание поля для каждого из полей в avro. Я согласен с тем, что мы можем добавить документ на уровне записи. мы хотели добавить описание на уровне поля.
20 май '20 в 14:46
1
ответ
Разбор нескольких AVRO (файлов avsc), которые ссылаются друг на друга с помощью python (fastavro)
У меня есть схема AVRO, которая в настоящее время находится в одном файле avsc, как показано ниже. Теперь я хочу переместить запись адреса в другой общий файл avsc, на который следует ссылаться из многих других файлов avsc. Таким образом, Клиент и а…
17 авг '20 в 03:25
4
ответа
Как связать одну схему avro внутри другой
Мне нужно указать Stduent.avsc внутри другой схемы { "type" : "record", "namespace" : "data.add", "name" : "Student", "fields" : [ { "name" : "Name" , "type" : "string" }, { "name" : "Age" , "type" : "int" } ] } Мне нужно сослаться на указанную выше…
27 ноя '19 в 15:22
0
ответов
Можно ли кодировать с помощью одной схемы и декодировать с помощью другой с помощью avsc (avro с nodejs)?
Я новичок в Avro и использую библиотеку avsc. Мой код выглядит так - const avro = require('avsc'); const typeV1 = avro.Type.forSchema({ type: 'record', fields: [ {name: 'kind', type: {type: 'enum', symbols: ['CAT', 'DOG']}}, {name: 'name', type: 'st…
22 мар '20 в 17:16