Федеративный источник данных BigQuery: параметры CSV в интерфейсе командной строки?

Question

При создании федеративного источника данных с использованием интерфейса командной строки можно ли указать параметры загрузки, такие как разделитель полей, разрешить неровные строки и т. Д.?

bq mk --external_table_definition=column_1:STRING,column_2:STRING@CSV=gs://my-bucket/my_files*.csv my_dataset.my_table

У вас есть доступ ко всем опциям csv при настройке федеративных таблиц в веб-интерфейсе или API. Они только что были исключены из инструмента командной строки?

Answer 1

Вы можете указать эти опции в определении таблицы JSON файл. Вы можете найти много примеров в этом документе. За то, что вы задали в вопросе, ваш JSON должно быть похоже, как показано ниже:

{
  "schema": {
    "fields": [
      {
        "name": "column_1",
        "type": "STRING"
      },
      {
        "name": "column_2",
        "type": "STRING"
      }
    ]
  },
 "csvOptions": {
    "allowJaggedRows": true,
    "fieldDelimiter": "[DELIMITER]"
  },
  "sourceFormat": "CSV",
  "sourceUris": [
    "[BUCKET_URI]"
  ]
}

Затем просто запустите ту же команду и указав JSON file path вместо inline schema:

bq mk --external_table_definition=[JSON_FILE_PATH] [YOUR_DATASET.YOUR_TABLE]