Можно ли загрузить файлы Avro со сжатием Snappy в BigQuery?

Question

Я знаю, что BigQuery поддерживает загрузку файлов Avro, и я успешно загружаю файлы Avro в BigQuery.

Используя команду ниже,

java -jar avro-tools-1.7.7.jar fromjson --codec snappy --schema-file SourceSchema.avsc Source.json > Output.snappy.avro

Я сгенерировал файл Avro со сжатием Snappy и пытаюсь загрузить его в BigQuery, но загрузка не выполняется с ошибками ниже,

Errors:
file-00000000: The Apache Avro library failed to parse file file-00000000. (error code: invalid)

Можно ли загрузить файлы Avro со сжатием Snappy в BigQuery?

Answer 1

BigQuery поддерживает только алгоритмы DEFLATE и Snappy для сжатия блоков данных Avro из документов ( https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro)

Сжатые файлы Avro не поддерживаются, но блоки сжатых данных есть. BigQuery поддерживает кодеки DEFLATE и Snappy.

Answer 2

Теперь BigQuery поддерживает Snappy. См.: https://cloud.google.com/bigquery/docs/loading-data-cloud-storage-avro

Сжатые файлы Avro не поддерживаются, но блоки сжатых данных есть. BigQuery поддерживает кодеки DEFLATE и Snappy.