Можем ли мы использовать Scala для выполнения операций UPDATE и DELETE с дельта-таблицами Databricks?

Question

Я могу создавать дельта-таблицы блоков данных с использованием scala и выполнять над ним операции добавления и перезаписи.

Есть ли способ, которым я могу выполнять операции удаления и обновления, используя Scala, а не через среду выполнения Databricks.

val target = Seq(
  Data("a", "0"),
  Data("b", "1"),
  Data("c", "2"),
  Data("d", "3")
).toDF().write.format("delta").mode("overwrite").saveAsTable("target")
val DF1 = spark.table("target")
DF1.show()

val NewInserts = Seq(
  Data("a", "0"),
  Data("b", "1"),
  Data("c", "2"),
  Data("d", "3")
).toDF().write.format("delta").mode("append").saveAsTable("target")

val DF2 = spark.table("target")
DF2.show()

Answer 1

Еще нет! Только команды sql поддерживают обновление / удаление / слияние. Databricks работает над выпуском эквивалентов scala/python.