Не могу загрузить набор данных в BigQuery.

Question

Я пытаюсь загрузить набор данных по этой ссылке (https://www.kaggle.com/datasets/aaditshukla/flipkart-fasion-products-dataset) в любом формате в BigQuery.

Если я попытаюсь загрузить файл xlsx, я получаю следующую ошибку: Ошибка при чтении данных, сообщение об ошибке: Библиотеке Apache Avro не удалось проанализировать заголовок со следующей ошибкой: Неверный файл данных. Magic не соответствует: bigstore/bigquery-prod-upload-us/prod-scotty-742294406158-0a961394-8a51-4e20-b60a-73171b3ede27 Файл: bigstore/bigquery-prod-upload-us/prod-scotty-742294406158-0a961394 - 8a51-4e20-b60a-73171b3ede27

Если я попытаюсь загрузить файл Jason, я получаю следующую ошибку: Ошибка при чтении данных, сообщение об ошибке: Не удалось проанализировать JSON: при запуске нового массива объект не найден.; BeginArray вернул ложь. Файл: prod-scotty-742294406158-0e3c245a-4029-47a0-bb46-796ac00b04b3.

Я попытался создать свою собственную схему, но это тоже не работает.

Answer 1

BigQuery не поддерживает файлы xlsx .

Самый простой способ — преобразовать файл XLSX в CSV, а затем загрузить его в BigQuery . Вы можете выбрать опцию «Автоопределение схемы» или указать схему самостоятельно.

Файл JSON не удалось создать, поскольку вместо этого BigQuery требуется JSON с разделителем новой строки . Вам нужно будет его преобразовать.