fastavro - конвертирует файл json в файл avro

Question

Немного новичок в avro и python.

Я пытаюсь выполнить простое преобразование в avro с помощью библиотеки fastavro, так как скорость встроенной библиотеки apache avro слишком медленная.

Я хочу:

1. Берем json файл 2. Конвертируем данные в avro.

Моя проблема в том, что похоже, что мой json не находится в правильном формате "записи" для преобразования в avro. Я даже попытался поместить свой json в строку var и сделать его похожим на синтаксис, который есть на сайте @ https://fastavro.readthedocs.io/en/latest/writer.html:

    {u'station': u'011990-99999', u'temp': 22, u'time': 1433270389},
    {u'station': u'011990-99999', u'temp': -11, u'time': 1433273379},
    {u'station': u'012650-99999', u'temp': 111, u'time': 1433275478},

Вот мой код:

from fastavro import json_writer, parse_schema, writer
import json

key = "test.json"
schemaFileName = "test_schema.avsc"
with open(r'C:/Path/to/file' + schemaFileName) as sc:
    w = json.load(sc)

schema = parse_schema(w)

with open(r'C:/Path/to/file/' + key) as js:
    x=json.load(js)

with open('C:/Path/to/file/output.avro', 'wb') as out:
    writer(out, schema,x, codec='deflate')

Вот что я получаю в результате:

  File "avropython.py", line 26, in <module>
    writer(out, schema,x, codec='deflate')
  File "fastavro\_write.pyx", line 608, in fastavro._write.writer
ValueError: "records" argument should be an iterable, not dict

Мой файл json и схема, соответственно:

  "joined": false,
  "toward": {
    "selection": "dress",
    "near": true,
    "shoulder": false,
    "fine": -109780201.3804388,
    "pet": {
      "stood": "saddle",
      "live": false,
      "leather": false,
      "tube": false,
      "over": false,
      "impossible": true
    },
    "higher": false
  },
  "wear": true,
  "asleep": "door",
  "connected": true,
  "stairs": -1195512399.5000324
}

{
  "name": "MyClass",
  "type": "record",
  "namespace": "com.acme.avro",
  "fields": [
    {
      "name": "joined",
      "type": "boolean"
    },
    {
      "name": "toward",
      "type": {
        "name": "toward",
        "type": "record",
        "fields": [
          {
            "name": "selection",
            "type": "string"
          },
          {
            "name": "near",
            "type": "boolean"
          },
          {
            "name": "shoulder",
            "type": "boolean"
          },
          {
            "name": "fine",
            "type": "float"
          },
          {
            "name": "pet",
            "type": {
              "name": "pet",
              "type": "record",
              "fields": [
                {
                  "name": "stood",
                  "type": "string"
                },
                {
                  "name": "live",
                  "type": "boolean"
                },
                {
                  "name": "leather",
                  "type": "boolean"
                },
                {
                  "name": "tube",
                  "type": "boolean"
                },
                {
                  "name": "over",
                  "type": "boolean"
                },
                {
                  "name": "impossible",
                  "type": "boolean"
                }
              ]
            }
          },
          {
            "name": "higher",
            "type": "boolean"
          }
        ]
      }
    },
    {
      "name": "wear",
      "type": "boolean"
    },
    {
      "name": "asleep",
      "type": "string"
    },
    {
      "name": "connected",
      "type": "boolean"
    },
    {
      "name": "stairs",
      "type": "float"
    }
  ]
}

Если бы кто-нибудь мог мне помочь, я был бы очень признателен!

Answer 1

Как упоминалось в ошибке ValueError: "records" argument should be an iterable, not dict, проблема в том, что когда вы звоните writer, аргумент для записей должен быть повторяемым. Один из способов решить эту проблему - изменить последнюю строку наwriter(out, schema, [x], codec='deflate')

В качестве альтернативы есть schemaless_writerкоторый можно использовать для записи одной записи: https://fastavro.readthedocs.io/en/latest/writer.html