Описание тега databricks-sql
Вопросы о блоках данных SQL
1
ответ
Как добавить столбец NULL в новую таблицу на основе существующей дельта-таблицы при использовании блоков данных SQL?
Я попытался создать новую таблицу из дельта-таблицы и добавить новый столбец NULL при использовании блоков данных SQL. Databricks не может создать столбец NULL, если я заполняю только что созданный столбец, он работает нормально. Как добавить столбе…
21 окт '21 в 12:25
0
ответов
Запустить пользовательский запрос sql в записной книжке
Мы хотели бы запланировать выполнение sql- запросов , а затем их отправку по электронной почте на список адресов электронной почты, которые не являются пользователями блоков данных. Эта функция есть в большинстве инструментов бизнес-аналитики. Вы мо…
14 окт '21 в 03:53
1
ответ
Как управлять конечными точками SQL Databricks из приложения Scala?
Есть ли способ запустить, остановить, перечислить доступные конечные точки SQL в Databricks SQL? С разрешением «Может использовать» можно запустить конечную точку SQL при подключении к конечной точке с помощью драйвера JDBC Databricks, но понятия не…
31 окт '21 в 13:22
1
ответ
Databricks/Spark SQL - как получить данные в поле типа карты
В пакете данных CDP в таблице профилей есть поле identityMap: [IdentityType -> IdentityValue] Примерное значение выглядит следующим образом: ["crmID" -> "{(NULL,crm123,NULL)}", "loyaltyID" -> "{(NULL,loy456,NULL)}", "accountID" -> "{(NUL…
12 ноя '21 в 17:41
2
ответа
Как найти все таблицы с одинаковым (похожим) именем в Databricks SQL
Есть ли запрос sql, который можно использовать для поиска всех таблиц в экземпляре Databricks для данного имени? Что-то вроде select * from information_schema.tables where lower(table_name) like 'org%'; Если в sql нет способа сделать это, есть ли др…
13 ноя '21 в 17:47
1
ответ
Расположение сценариев SQL в DBFS в Databricks SQL
Я хочу загрузить все сценарии SQL на Databricks SQL, чтобы поместить их в репозиторий Git. Есть ли способ загрузить их все программно? В качестве альтернативы, может ли кто-нибудь указать мне свое местоположение в DBFS? Спасибо.
18 ноя '21 в 12:30
1
ответ
Подключение к Databricks из Python через управляемую идентификацию
Мне удалось подключиться к Databricks из Python, используя следующий фрагмент кода: from databricks import sql connection = sql.connect( server_hostname='<server-hostname>', http_path='<http-path>', access_token='<personal-access-toke…
25 ноя '21 в 11:30
3
ответа
Хотите использовать несколько агрегатных функций с функцией сводных столбцов снежинки
СОЗДАТЬ ТАБЛИЦУ человека (id INT, имя STRING, дата дата, класс INT, адрес STRING); ВСТАВИТЬ В ЗНАЧЕНИЯ человека (100, 'John', 30-1-2021, 1, 'Street 1'),(200, 'Mary', 20-1-2021, 1, 'Street 2'),(300, ' Майк », 21-1-2021, 3,« Улица 3 »), (100,« Джон »,…
26 ноя '21 в 11:38
2
ответа
Как округлить временную метку до даты в DBSQL?
Я хочу округлить метку времени до дня. После этого ответа . Но я получаю сообщение об ошибке. Select date_format(timestamp, '%Y-%m-%d') as day Ошибка: org.apache.hive.service.cli.HiveSQLException: Error running query: org.apache.spark.SparkException…
09 дек '21 в 19:11
1
ответ
Databricks, сравнивая две таблицы, чтобы увидеть, какие записи отсутствуют
Я смотрю на две таблицы, которые должны быть равны. Я запускаю этот запрос, чтобы увидеть, какие записи отсутствуют в таблице B по сравнению с таблицей A (у нас есть трехколоночный ключ): select * from tableA A left join TableB B on A.joinField1 = B…
15 дек '21 в 18:25
1
ответ
Databricks sql, как сравнить экранирующие символы строки
Я анализирую два столбца, чтобы отфильтровать записи, которые не похожи друг на друга: select firstname, name from tableA where lower(firstname) != lower(name) Я принимаю имена, которые совпадают, даже если нет нескольких специальных символов, напри…
21 дек '21 в 12:45
1
ответ
преобразование поля даты в метку времени в Databricks SQL
У меня есть исходная таблица в блоках данных, в которой есть поле с именем. Я обнаружил, что dateпохоже на временную метку. Например, это данные date = 2021-07-09 00:07 , date = 2021-12-21 09:19. Приведенная выше дата не является полной отметкой вре…
22 дек '21 в 07:46
0
ответов
Получить строку до первого пробела в блоках данных sql
У меня есть запись в столбце в базе данных, имя столбца - properties_desc #Fri Jan 20 13:02:07 UTC 2021 cardType=MasterCard cardUniqueNumber=abcd857bdnsj45ncx cardDebit=true Я хочу обрезать запись, чтобы получить: MasterCard В общем, я хочу все посл…
09 янв '22 в 08:38
1
ответ
Невозможно привести строку к дате при вставке в Databricks SQL
У меня есть таблица, созданная так: CREATE TABLE IF NOT EXISTS MyDataBase.Table ( `date` DATE, `name` STRING, `isTarget` BOOLEAN ) USING DELTA LOCATION '/mnt/path/to/folder/' Мне нужно вручную вставить значения в таблицу с помощью SQL. Я пытался сде…
20 янв '22 в 17:29
1
ответ
spark sql Вставить строковый столбец в структуру столбца типа массива
Я пытаюсь вставить столбец типа STRING в столбец ARRAY of STRUCT TYPE, но сталкиваюсь с ошибками. Не могли бы вы помочь указать правильное направление для выполнения INSERT. В блокноте databricks у меня есть необработанная таблица ( raw_lms.rawTable…
31 янв '22 в 15:02
1
ответ
Как ограничить пользователей только объективом DBSQL для Databricks? Я не хочу, чтобы у них был доступ к конечным точкам SQL или объективам DE и ML.
Вот актуальные варианты. Я хочу дать команде BI доступ только к S:SQL
01 фев '22 в 22:16
1
ответ
Драйвер jdbc Databricks для Cubejs (cube.dev)
Мы пытаемся подключить механизм куба olap к блокам данных sql с помощью драйвера jdbc (https://github.com/cube-js/cube.js/tree/master/packages/cubejs-databricks-jdbc-driver). Мы хотим использовать Cube в качестве слоя olap для быстрых запросов и пре…
01 фев '22 в 18:27
1
ответ
Сервисный токен для внешнего API | Блоки данных
В настоящее время я экспериментирую с Databricks. Я хотел бы использовать Python SQL Connector , чтобы позволить внешним API получать доступ к определенным таблицам через Databricks. Использование Python SQL Connector требует использования маркера л…
02 фев '22 в 18:58
0
ответов
Поля структуры запроса Spark SQL с повторяющимся именем
[Обновления: кажется, что ниже проблема затрагивает только блоки данных 10.x с литеральным представлением, взорванным (для расширения массива), запрос работает, как и ожидалось, в блоках данных 9.x] При запросе df из JSON в виде структуры появляется…
15 фев '22 в 10:58
1
ответ
Поиск недели месяца по дате в блоках данных SQL
Я пытаюсь получить week_of_the_month из даты в databricks sql Вот мой SQL: with date as ( select EXTRACT(DAY FROM '2017-01-01') as day ) select case when day < 8 then '1' when day < 15 then '2' when day < 22 then '3' else '4' end as week_of…
05 янв '22 в 20:51