Databricks SQL AddColumn при создании дельта-таблицы

Я пытаюсь создать дельта-таблицу с добавленным столбцом в хранилище метаданных DBSQL из дельта-ведра. Я не хочу передавать схему, так как она может измениться в корзине с течением времени, но я хочу добавить в хранилище метаданных только столбец, который является столбцом generateAlways, чтобы он заполнялся новыми значениями по мере того, как дельта-ковша получает новые данные. Это мой код, основанный на документации Databricks:

      DeltaTable.createIfNotExists(spark) \
.tableName("golddata.table") \
.addColumn("date", DateType(), generatedAlwaysAs="CAST(concat(year,month,'-01') AS DATE)") \
.location("cloudBucket://golddata/table") \
.execute()

Эти коды дают ошибку несоответствия схемы. Есть ли способ добавить столбец в Databricks SQL Metastore в существующую схему, которая загружается из моего разностного сегмента? Будет использоватьфункция обновляется при обновлении данных в ведре?

0 ответов

Другие вопросы по тегам