Описание тега fastavro
NoneFastavro - это реализация Python Avro для сериализации и десериализации данных.
1
ответ
Avro добавить запись с несуществующей схемой и сохранить как файл avro?
Я только начал использовать Avro и использую библиотеку fastavro на Python. Я подготовил схему и сохранил данные с ней. Теперь мне нужно добавить новые данные (ответ JSON на вызов API) и сохранить их с несуществующей схемой в тот же файл avro. Как м…
07 авг '20 в 14:38
0
ответов
невозможно установить apache-beam на macOS
Я пытаюсь установить apache-beam в вертикальной среде Python, но это не сработало! Я выполнил шаги, предоставленные apache beam org [Краткое руководство Apache Beam Python SDK], но при выполнении pip install apache-beam У меня такая ошибка: Building…
21 апр '20 в 22:45
1
ответ
Как мне заставить fastavro поддерживать логические типы?
Я пытаюсь использовать логический тип в Avro с библиотекой Python fastavro для чтения и записи, ноlogicalTypeаннотации, похоже, вообще не действуют. Код ниже взят со страницы fastavro ; Я изменил поле времени в определении схемы, аннотировав его лог…
25 мар '20 в 06:26
1
ответ
fastavro - конвертирует файл json в файл avro
Немного новичок в avro и python. Я пытаюсь выполнить простое преобразование в avro с помощью библиотеки fastavro, так как скорость встроенной библиотеки apache avro слишком медленная. Я хочу: 1. Берем json файл 2. Конвертируем данные в avro. Моя про…
27 мар '20 в 03:16
1
ответ
Как удалить данные из файла avro
У меня есть один файл avro, и я хочу отфильтровать записи по некоторым критериям. Как удалить запись из файла во время чтения? from fastavro import reader with open("D:///temp/load_data.avro", 'rb') as fo: avro_reader = reader(fo) for record in avro…
04 май '20 в 19:10
0
ответов
fastavro: как объединить вывод schemaless_writer () в OCF
Наши записи из Кафки. Каждая запись является выводом schemaless_writer, а также идентификатора схемы. Конечно, нам нужно сначала удалить идентификатор схемы из каждой записи. Затем мы должны преобразовать эти записи (двоичные без идентификатора схем…
01 фев '20 в 06:32
1
ответ
Десериализация Avro из Kafka с использованием fastavro
Я создаю приложение, которое получает данные от Kafka. При использовании стандартной библиотеки avro, предоставленной Apache ( https://pypi.org/project/avro-python3/), результаты верны, однако процесс десериализации очень медленный. class KafkaRecei…
28 апр '20 в 09:22
1
ответ
Обработка нескольких AVRO (файлов avsc), которые находятся в разных каталогах и ссылаются друг на друга с помощью python (fastavro)
У меня есть два файла avsc в разных каталогах - 1. com.company.model.AddressRecord.avsc 2. com.company.model.Customer.avsc Вот адресный файл { "type": "record", "namespace": "com.company.model", "name&quo…
04 сен '20 в 00:48
1
ответ
Разбор нескольких AVRO (файлов avsc), которые ссылаются друг на друга с помощью python (fastavro)
У меня есть схема AVRO, которая в настоящее время находится в одном файле avsc, как показано ниже. Теперь я хочу переместить запись адреса в другой общий файл avsc, на который следует ссылаться из многих других файлов avsc. Таким образом, Клиент и а…
17 авг '20 в 03:25
0
ответов
Fastavro - чтение и преобразование записей avro в csv
У меня есть файл avro, который я пытаюсь проанализировать и скрыть объекты в csv. Записи, которые я получаю при чтении файла avro, представляют собой список словарей в этом формате. [{ 'id': '123456789', 'rule': { 'id': 1, 'ruleMajorVersion': 1, 'ru…
19 авг '20 в 13:30
2
ответа
Вопрос схемы avro: TypeError: unhashable type: 'dict'
Мне нужно написать схему Avro для следующих данных. Экспозиция представляет собой массив массивов с 3 числами. { "Response": { "status": "", "responseDetail": { "request_id": "Z618978.R", &…
21 авг '20 в 17:41
0
ответов
ошибка схемы производителя confluent kafka avro
Я использую пример кода из https://github.com/confluentinc/confluent-kafka-python/blob/master/examples/avro_producer.py для загрузки данных в тему. Я сделал только одно изменение, и я добавил "default": null в каждое поле для совместимости схемы. Он…
20 июл '20 в 09:31
2
ответа
Проблемы с установкой пакетов googleclient и fastavro
Я пытаюсь записать имена файлов моего GDrive в Avro-файл. Для подключения к GDrive я использовал эти инструкции. https://developers.google.com/drive/api/v3/quickstart/python а для вывода использую писатель от fastavro При использовании Virtualenv Py…
04 апр '20 в 22:07
2
ответа
Как преобразовать данные JSON в формат Avro с помощью Python
Я хотел бы преобразовать приведенные ниже данные JSON в формат avro. Я использовал приведенный ниже фрагмент кода для записи данных JSON в формате avro, но получил ошибку. Если бы кто-нибудь мог с этим помочь, было бы здорово. from fastavro import w…
06 авг '20 в 20:16
1
ответ
Как мне декодировать сообщение Avro в Python?
У меня проблемы с декодированием сообщения Avro в Python (3.6.11). Я пробовал как avro и fastavroпакеты. Поэтому я думаю, что проблема может заключаться в том, что я неправильно указываю байты. Используя avro: from avro.io import DatumReader, Binary…
13 окт '20 в 21:34
0
ответов
Преобразование данных JSON из Azure SQL в AVRO
Я новичок в концепции Avro и обладаю знаниями Python для новичков. Я пытаюсь решить вариант использования, когда данные из Azure SQL в формате JSON необходимо преобразовать в файл Avro и сохранить в Azure для последующего использования. Я понимаю, ч…
03 ноя '20 в 18:52
0
ответов
пытаюсь преобразовать из python avro в fastavro с python kafka
Я использую python kafka, и расшифровка сообщений avro находится ниже: avro_schema = avro.schema.parse(open('test.avsc', 'rb').read()) def decode(m): decoder = avro.io.BinaryDecoder(io.BytesIO(m)) return avro_reader.read(decoder) consumer = KafkaCon…
20 ноя '20 в 02:44
0
ответов
«Fastavro» ValueError: Decimal ('5') (type <class 'decimal.Decimal'>) не соответствует ['null', 'bytes'] в звездочках поля
Я использую fastavro и получаю сообщение об ошибке ValueError: Decimal('5') (type <class 'decimal.Decimal'>) do not match ['null', 'bytes'] on field stars Читая эту документацию, десятичное число должно иметь тип байтов, но при этом я все равн…
17 фев '21 в 19:53
1
ответ
confluent_kafka.error.ValueSerializationError: KafkaError{code=_VALUE_SERIALIZATION,val=-161: ValueError
Я новичок в Python и пытаюсь использовать confluent_kafka для создания сообщений avro. Использование confluent_kafka.schema_registry.avro.AvroSerializer для того же (указано: https://github.com/confluentinc/confluent-kafka-python/blob/master/example…
23 мар '21 в 09:32
0
ответов
Как установить значение поля avro 'bytes' с десятичной шкалой и точностью в Python во время сериализации avro?
Я пытаюсь создать сообщение avro для kafka со схемой, которая у меня есть. (Использование производителя пакета python confluent-kafka) Производитель работает нормально, за исключением значения поля «байты», которое не десериализуется должным образом…
24 мар '21 в 13:32