Описание тега avro-tools
0
ответов
AVRO Tool 1.8.2 - выдает ошибку, вызванную: java.io.IOException: неверная синхронизация! по линии 245
У меня есть требование объединить файлы avro и отправить их в хранилище BLOB-объектов Azure. Я объединил это, и затем я пытаюсь прочитать это снова, я получаю ошибку. У меня есть файл, в котором авро файлы объединяются с помощью snappy. Во время вып…
02 апр '18 в 13:47
1
ответ
Это авро сообщение действительно?
У меня есть несколько примеров сообщений Avro от поставщика kafka, который выглядит так: 00000000 4f 62 6a 01 04 16 61 76 72 6f 2e 73 63 68 65 6d |Obj...avro.schem| 00000010 61 ef bf bd 24 7b 22 74 79 70 65 22 3a 22 72 65 |a...${"type":"re| Тот ef b…
08 июн '17 в 03:25
0
ответов
avro-tools превращает типы объединения в java.lang.Object
Это .avpr Файл протокола Avro определяет одно сообщение, получающее и возвращающее тип объединения: { "protocol": "Foo", "types": [ {"name": "A", "type": "record", "fields": [{"name": "x", "type": "int"}]}, {"name": "B", "type": "record", "fields": …
04 янв '17 в 16:23
1
ответ
Есть ли способ программно конвертировать JSON в схему AVRO?
Мне нужно создать файл AVRO, но для этого мне нужно 2 вещи: 1) JSON 2) Авро Схема Из этих 2 требований - у меня есть JSON: {"web-app": { "servlet": [ { "servlet-name": "cofaxCDS", "servlet-class": "org.cofax.cds.CDSServlet", "init-param": { "configG…
04 окт '17 в 03:36
0
ответов
Имя поля записи схемы Avro начинается с номера
Авро документация гласит: Часть имени полного имени, имена полей записи и символы перечисления должны: начать с [A-Za-z_] впоследствии содержат только [A-Za-z0-9_] Можно ли как-то избежать первого правила и иметь имя поля записи, начинающееся с цифр…
18 янв '18 в 16:32
0
ответов
Что делает "default"= null в схеме avro
Я вкладываю запись в другую запись и пытаюсь сделать ее необязательной, но не работает ни объединение с нулем, ни default=null. Я использую Avro версии 1.8.2. Maven 3.5 Java 1.8 Также создайте файл.avsc, а затем с его помощью создайте классы Java. П…
14 янв '19 в 15:52
0
ответов
Разбить большой файл AVRO на меньшие файлы AVRO
Есть ли у нас библиотека для разделения большого файла AVRO [1 ГБ] на файлы AVRO меньшего размера настраиваемого размера? Примечание: * Не должно быть потери данных. * Схема исходного и выходного файлов AVRO должна быть одинаковой Заранее спасибо!!!
04 дек '17 в 09:52
0
ответов
Avro SchemaBuilder - "Не удается перезаписать свойство: масштаб" для десятичного логического типа
Я пытаюсь сгенерировать схему Avro из Java, чтобы описать таблицу, к которой я могу получить доступ через JDBC. Я использую метод getMetaData () JDBC для извлечения метаданных соответствующих столбцов и сохранения их в массиве объектов "columnDetail…
18 фев '19 в 16:29
1
ответ
Как создать список записей в Avro Schema
У меня есть схема Avro, как указано ниже. {"type":"record", "namespace": "com.test", "name": "bck", "fields": [ {"name": "accountid","type": "string"}, {"name":"amendmentpositionid","type": "int"}, {"name":"booking","type": {"type":"array","items": …
22 янв '19 в 06:53
1
ответ
Генерировать avsc avro схему из класса дел в scala при сборке
Я хочу сгенерировать авро-схему из класса дел Scala. Предположим, у меня есть следующий класс случая scala: case class User(name : String, favorite_number: Int, favorite_color: String) Связанная схема avro: {"namespace": "example.avro", "type": "rec…
31 янв '19 в 15:02
1
ответ
Не ошибка файла данных при чтении файла Avro
У меня есть файл с данными в формате Avro. Я хотел бы прочитать эти данные в структуру данных типа GenericRecord или любую другую структуру данных типа, чтобы иметь возможность отправлять их из Kafka в Spark. Я пытался использовать DataFileReader, о…
17 янв '19 в 15:31
1
ответ
Concat Avro файлы с использованием avro-tools
Я пытаюсь объединить файлы AVRO в один большой файл, проблема в concat команда не принимает подстановочный знак hadoop jar avro-tools.jar concat /input/part* /output/bigfile.avro Я получил: Исключение в потоке "main" java.io.FileNotFoundException: ф…
18 янв '16 в 14:15
1
ответ
Как преобразовать существующие текстовые данные в hdfs в Avro?
У меня есть таблица в формате hdf, которая хранится в текстовом формате, поэтому теперь у меня есть требование добавить новый столбец между ними. Поэтому я решил загрузить новые столбцы в avro, так как Avro поддерживает эволюцию схемы, но теперь пре…
27 апр '18 в 13:25
0
ответов
В схеме Avro, как проверить, нет ли несоответствия в "псевдонимах"?
Есть ли способ проверить правильность схемы Avro? Особенно мне нужно проверить, что в "псевдонимах" нет дублирующихся значений? Контекст: Я использую NiFi для проверки входящих FlowFiles. Для этого я сгенерировал "вручную" схему Avro и статус нашего…
12 июн '18 в 12:54
0
ответов
Как проверить данные формата Avro с другой схемой
private static final String json = "{" + "\"name\":\"Frank\"," + "\"age\":\"47\"" + "}"; private static final Schema schema1 = new Schema.Parser().parse("{ \"type\":\"record\", \"namespace\":\"foo\", \"name\":\"Person\", \"fields\":[ { \"name\":\"na…
27 июн '18 в 10:20
0
ответов
kafka: производитель и потребитель с другим файлом avro
Я обрабатываю 2 разных файла avro: avroConsumer: {"namespace": "autoGenerated.avro", "type": "record", "name": "UserConsumer", "fields": [ {"name": "Name", "type": "string"}, {"name": "Surname", "type":["null","string"],"default": null}, {"name": "f…
27 июл '18 в 12:56
1
ответ
Хранение нулевых значений в файлах avro
У меня есть некоторые данные JSON, которые выглядят так: { "id": 1998983092, "name": "Test Name 1", "type": "search string", "creationDate": "2017-06-06T13:49:15.091+0000", "lastModificationDate": "2017-06-28T14:53:19.698+0000", "lastModifiedUsernam…
13 авг '17 в 16:24
2
ответа
Как преобразовать "org.apache.avro.generic.GenericRecord" в "java.util.Map"?
Простой способ конвертировать "org.apache.avro.generic.GenericRecord" в "java.util.Map"
12 сен '17 в 21:25
0
ответов
Avro Schema Использование ссылок в союзах?
Я пытаюсь использовать ссылки в схеме Avro для генерации POJO (используя avro-tools), но в итоге получаю no type ошибка Ошибка полного стека: Исключение в потоке "main" org.apache.avro.SchemaParseException: Нет типа: {"name":"userPreferences","names…
15 дек '17 в 02:32
0
ответов
python 3.6 в Windows устанавливает avro - Файл "C:\Users\name\AppData\Local\Programs\Python\Python36\lib\site-packages\avro\schema.py", строка 340
Я хотел прочитать файл avro, используя python в Windows 10. Я установил avro из DOS как: pip install avro. Я получаю приведенную ниже ошибку при попытке "из схемы импорта avro" из оболочки python: обратная связь (последний вызов был последним): файл…
06 авг '18 в 21:34