Описание тега delta-live-tables
Databricks Delta Live Tables (DLT) — это инновационная платформа ETL, в которой используется простой декларативный подход к построению надежных конвейеров данных и автоматическому управлению инфраструктурой в масштабе.
1
ответ
Databricks Delta Live Tables: разница между STREAMING и INCREMENTAL
Есть ли разница между CREATE STREAMING LIVE TABLEа также CREATE INCREMENTAL LIVE TABLE? Документация смешанная: например, STREAMINGиспользуется здесь , в то время как INCREMENTALиспользуется здесь . Я тестировал оба и пока не заметил никакой разницы.
27 апр '22 в 08:52
0
ответов
Регистрировать метрики из Databricks в Datadog
Каков наилучший способ регистрации метрик из таблиц Databricks Delta Live Tables в DataDog? Я создаю соединение между Datadog и Databricks и могу отправлять журналы из Databricks в Datadog. У меня проблема с отправкой журналов для Delta Live Tables.…
20 май '22 в 08:20
4
ответа
Модуль «dlt» не имеет атрибута «таблица» — блоки данных и дельта-таблицы
Я новичок в databricks и дельта-таблицах. У меня проблема с созданием дельта-таблицы в python. Как создать дельта-таблицу из файлов json в хранилище файлов?
15 май '22 в 15:22
1
ответ
Укажите имя столбца И inferschema в таблице Delta Live на Databricks
Я играю с функцией дельта-живых таблиц databricks, используя sql api. Это мое заявление на данный момент: --Create Bronze Landing zone table CREATE STREAMING LIVE TABLE raw_data COMMENT "mycomment" TBLPROPERTIES ("quality" = "bronze") AS SELECT * FR…
17 май '22 в 02:07
1
ответ
Как использовать Apache Sedona на таблицах Databricks Delta Live?
Я пытаюсь запустить некоторые геопространственные преобразования в Delta Live Table, используя Apache Sedona. Я попытался определить минимальный пример конвейера, демонстрирующий проблему, с которой я столкнулся. В первой ячейке моего ноутбука я уст…
17 май '22 в 12:34
1
ответ
Как использовать переменную внутри регистратора Python
Есть ли способ использовать переменные на уровне регистратора python вместо уровней (ошибка, информация..)? Я получаю уровень события из событий Delta Live Tables level_log = event.level // this is from Delta Live Tables Events log_event.{level_log}…
25 май '22 в 10:44
0
ответов
Дельта-таблицы Databricks зависают при приеме файла из S3
Я новичок в databricks и только что создал живые дельта-таблицы, чтобы получить 60 миллионов файлов json из S3. Однако скорость ввода (количество файлов, которые он считывает с S3) застряла на уровне около 8 записей в секунду, что очень мало для IMO…
06 май '22 в 09:20
2
ответа
Live Tables Delta с EventHub
Я пытаюсь создать потоковую передачу из eventhub, используя дельта-таблицы live, но у меня возникают проблемы с установкой библиотеки. Можно ли установить библиотеку maven с использованием таблиц Delta Live с помощью sh/pip? Я хочу установить com.mi…
24 май '22 в 09:59
1
ответ
Как предотвратить добавление обратной косой черты в строку JSON
Я хотел бы читать события из концентратора событий с помощью Databricks, события в формате json, но они могут иметь другую схему (это важно, потому что я нахожу решения, в которых схема была передана функции from_json(jsonStr,schema), но я не могу и…
31 май '22 в 13:17
2
ответа
Живые таблицы Delta - Медленно меняющиеся размеры
Можно ли создать механизм медленно меняющихся измерений с помощью таблиц Delta Live Tables? Я хотел бы реализовать что-то вроде этого https://docs.databricks.com/_static/notebooks/merge-in-scd-type-2.html Но в документах DLT я обнаружил, что «Обрабо…
01 июн '22 в 09:48
0
ответов
Databricks — потоки чтения — таблицы Delta Live
У меня есть несколько таблиц (с разной степенью различий в схемах, но с общим набором полей), которые я хотел бы объединить и загрузить из бронзы -> серебра поэтапно. Таким образом, цель состоит в том, чтобы перейти от нескольких таблиц к одной т…
22 мар '22 в 22:10
1
ответ
Получение качества данных в Delta Live Table (бронза, золото, серебро...)
Как проверить, находится ли Delta Live Table в бронзовом, золотом или серебряном слое (зоне) с помощью python? У меня есть блокнот для создания конвейера Delta Live Table, и мне нужно знать, каково качество данных (серебро, бронза, золото). Как полу…
27 май '22 в 11:01
1
ответ
Ошибка потока DLT. Запросы с источниками потоковой передачи должны выполняться с помощью writeStream.start();
Я пытаюсь проанализировать входящие записи потоков переменной длины в блоках данных с помощью таблиц Delta Live Tables. Я получаю сообщение об ошибке: Запросы с потоковыми источниками должны выполняться с помощью writeStream.start(); Код ноутбука @d…
17 фев '23 в 17:17
1
ответ
Динамическая таблица Azure Databricks Delta
Вкладка динамической таблицы Azure Databricks Delta отсутствует в моих записных книжках Databricks. Почему?
04 ноя '22 в 16:42
0
ответов
Таблицы Delta Live с использованием SCD типа 1
Я пытаюсь загрузить данные с помощью DLT и SCD 1 и сталкиваюсь с сообщением об ошибке «Обнаружено обновление данных в исходной таблице версии x. В настоящее время это не поддерживается. Если вы хотите игнорировать обновления, установите параметр «иг…
06 окт '22 в 13:47
1
ответ
Разница между LIVE TABLE и STREAMING LIVE TABLE
При использовании DLT мы можем создать живую таблицу либо с помощью STREAMING LIVE TABLE, либо с помощью LIVE TABLE, как написано в документации: СОЗДАЙТЕ ИЛИ ОБНОВИТЕ { ПРЯМЫЕ ТРАНСЛЯЦИИ | РЕАЛЬНЫЙ СТОЛ } имя_таблицы В чем разница между двумя синта…
27 июн '22 в 13:45
1
ответ
Конвейер Databricks DLT с сообщением об ошибке for..loop «AnalysisException: невозможно переопределить набор данных»
У меня есть следующий код, который отлично работает для одной таблицы. Но когда я пытаюсь использовать for..loop() для обработки всех таблиц в моей базе данных, я получаю сообщение об ошибке,"AnalysisException: Cannot redefine dataset 'source_ds',Ma…
14 фев '23 в 13:02
1
ответ
Как опубликовать дельта-таблицу (DLT) в другом каталоге вместо hive_metastore
Привет, сообщество, я хочу опубликовать (сохранить) дельта-таблицу (DLT) в другой базе данных каталога. Следующее поле целевого изображения запрашивает только имя базы данных, а не каталог. Я ссылался на документацию, но не нашел ничего полезного.
20 сен '22 в 11:35
1
ответ
Преобразование имен столбцов Delta Live Tables в Databricks
Я загружаю CSV-файл из смонтированного хранилища больших двоичных объектов в живую дельта-таблицу, и вот мой первоначальный запрос: CREATE INCREMENTAL LIVE TABLE table_raw COMMENT "Ingesting data from /mnt/foo" TBLPROPERTIES ("quality" = "bronze") A…
10 июн '22 в 00:55
0
ответов
Время работы конвейера Delta Live Tables
Новое в Databricks Delta Live Tables. Настройте мой первый конвейер для приема одного CSV-файла размером 26 МБ из большого двоичного объекта Azure, используя следующий код: import dlt @dlt.table( comment="this is a test" ) def accounts(): return ( s…
20 июн '22 в 15:19