Регистрировать метрики из Databricks в Datadog
Каков наилучший способ регистрации метрик из таблиц Databricks Delta Live Tables в DataDog? Я создаю соединение между Datadog и Databricks и могу отправлять журналы из Databricks в Datadog. У меня проблема с отправкой журналов для Delta Live Tables.
Для получения метрик из таблиц Delta Live Tables я использую события и историю Delta Live. В событиях у меня есть все события для этой таблицы, и мне нужны только события для последнего процесса Delta Live Table.
event_log = spark.read.format('delta').load(event_log_path)
deltaTableHistory = DeltaTable.forPath(spark, table_path).history().collect()