Как экспортировать поля типа BLOB из хранилища данных GAE?

Question

Итак, я хочу экспортировать некоторые данные из хранилища данных GAE, вот как я пытаюсь это сделать:

1. Создание Cloud Datastore резервное копирование kind который я хочу экспортировать.
2. Загрузка резервной копии в Google BigQuery
3. Экспорт из Google BigQuery

Все работает нормально, но есть одна проблема, загрузчик Google BigQuery игнорирует Blob введите поля при загрузке данных из Cloud Datastore резервное копирование. ( https://cloud.google.com/bigquery/loading-data-cloud-datastore)

Как я могу добиться экспорта всех типов полей (включая поле типа Blob)?

Answer 1

Согласно документации, большие двоичные объекты нельзя хранить в BigQuery, поскольку это не его основная цель, а именно анализ больших данных. BigQuery принимает только указанные здесь стандартные типы данных SQL. В любом случае, в зависимости от вашего варианта использования и того, что содержат эти большие двоичные объекты, у вас может быть несколько вариантов.

Поскольку максимальный размер строки Datastore составляет 1 МБ, а BigQuery - 100 МБ, вы можете преобразовать большой двоичный объект перед его передачей. С другой стороны, вы можете использовать другую службу, такую ​​как Google Cloud Storage, для хранения там больших двоичных объектов и ввести в свою базу данных Datastore ссылку на этот файл в Cloud Storage.

Я создал запрос функции для этого в общедоступном трекере проблем, чтобы вы могли следить за его развитием там. Однако для этой реализации нет ETA.