Загрузка Avro Data в BigQuery через командную строку?

Question

Я создал таблицу avro-hive и загрузил данные в таблицу avro из другой таблицы с помощью команды hive insert-overwrite. Я могу видеть данные в таблице avro-hive, но когда я пытаюсь загрузить их в таблицу bigQuery, выдает ошибку, Схема таблицы:-

CREATE TABLE `adityadb1.gold_hcth_prfl_datatype_acceptence`(  
  `prfl_id` bigint,     
  `crd_dtl` array< struct < cust_crd_id:bigint,crd_nbr:string,crd_typ_cde:string,crd_typ_cde_desc:string,crdhldr_nm:string,crd_exprn_dte:string,acct_nbr:string,cre_sys_cde:string,cre_sys_cde_desc:string,last_upd_sys_cde:string,last_upd_sys_cde_desc:string,cre_tmst:string,last_upd_tmst:string,str_nbr:int,lng_crd_nbr:string>>)        
STORED AS AVRO;

Ошибка, которую я получаю:-

Error encountered during job execution:
Error while reading data, error message: The Apache Avro library failed to read data with the follwing error: Cannot resolve:

Я использую следующую команду для загрузки данных в BigQuery:-

bq load --source_format=AVRO dataset.tableName avro-filePath

Answer 1

Убедитесь, что в вашей папке gs есть данные, на которые вы указываете, и данные содержат схему (это следует делать, если вы создали ее из Hive). Вот вам пример загрузки данных

bq --location=US load --source_format=AVRO  --noreplace my_dataset.my_avro_table gs://myfolder/mytablefolder/part-m-00001.avro