Динамическая обработка схемы таблицы Bigquery при вставке данных в таблицу BQ из переменной
Я пытаюсь добавить данные в таблицу BQ, используя код Python, который требует обработки динамической схемы. Может ли кто-нибудь предоставить мне ссылку для обработки выше сценария.
1 ответ
Решение
Пример кода загрузки файла.csv в BigQuery с использованием клиентской библиотеки python:
# from google.cloud import bigquery
# client = bigquery.Client()
# filename = '/path/to/file.csv'
# dataset_id = 'my_dataset'
# table_id = 'my_table'
dataset_ref = client.dataset(dataset_id)
table_ref = dataset_ref.table(table_id)
job_config = bigquery.LoadJobConfig()
job_config.source_format = bigquery.SourceFormat.CSV
job_config.skip_leading_rows = 1
job_config.autodetect = True
with open(filename, "rb") as source_file:
job = client.load_table_from_file(source_file, table_ref, job_config=job_config)
job.result() # Waits for table load to complete.
print("Loaded {} rows into {}:{}.".format(job.output_rows, dataset_id, table_id))
Также проверьте эту часть документации, чтобы узнать больше о добавлении данных в таблицы из исходного файла с использованием той же или другой схемы.