Описание тега databricks-connect
0
ответов
pyspark.sql.utils.IllegalArgumentException при записи искрового фрейма данных в дельта-таблицу в Azure
Попытка вставить фрейм данных Spark после чтения из CSV в таблицу Azure Delta в пакетном режиме удаленно. Ошибка ниже в этой строке для некоторых партий, но не all-->>sparkDf.write.format("delta").mode("append").saveAsTable() pyspark.sql.utils…
03 июн '20 в 16:28
0
ответов
Невозможно выполнить код Scala в кластере Azure DataBricks
Я пытаюсь настроить среду разработки для DataBricks, поэтому мои разработчики могут писать код с помощью VSCODE IDE(или какой-либо другой IDE) и выполнять код для кластера DataBricks. Итак, я просмотрел документацию DataBricks Connect и выполнил нас…
26 авг '20 в 13:00
1
ответ
Подключение к блоку данных Azure с помощью databricks-connect
Я следую https://docs.databricks.com/dev-tools/databricks-connect.html, чтобы подключиться к лазурным блокам данных #creating environment dbconnect (base) C:\>conda create --name dbconnect python=3.7 (base) C:\>conda activate dbconnect (dbconn…
18 июн '20 в 06:44
2
ответа
Как правильно получить доступ к dbutils в Scala при использовании Databricks Connect
Я использую Databricks Connect для локального запуска кода в моем кластере Azure Databricks из IntelliJ IDEA (Scala). Все нормально работает. Я могу подключаться, отлаживать, проверять локально в среде IDE. Я создал задание Databricks для запуска св…
19 ноя '19 в 22:47
1
ответ
Spark DataFrame в таблицу ADW: невозможно вставить столбец с символами> 4k
У меня есть искровый фрейм данных на DataBricks со столбцом со значением, имеющим длину символа> 10000. Мне нужно вставить это в таблицу хранилища данных Azure (ADW), но я получаю сообщение об ошибке, если длина символа столбца превышает 4000. Ошибк…
21 ноя '19 в 15:12
1
ответ
Ошибка атрибута при создании области для доступа к Azure Datalake Gen2 из Databricks
Я пытался настроить, используя прицелы, и у меня возникли некоторые проблемы. Любая помощь будет оценена. Я выполнил следующие команды в Databricks CLI databricks secrets create-scope --scope dnb-dlg2-dbrcks-scp-stg databricks secrets put --scope dn…
10 дек '19 в 18:33
1
ответ
Как сгенерировать привилегированный токен databricks, действующий более 48 часов
Хотел бы запустить локальную записную книжку Jupiter, подключенную к кластеру Azure databricks, и вам нужно использовать dbutils для получения секретов. Для этого необходимо сохранить привилегированный токен локально, и он будет действовать только 2…
13 дек '19 в 03:08
0
ответов
Как интегрировать Eclipse IDE с кластером Databricks
Я пытаюсь интегрировать свою IDE Scala Eclipse с моим кластером Azure Databricks, чтобы я мог напрямую запускать свою программу Spark через Eclipse IDE в моем кластере Databricks. Я следил за официальной документацией Databricks Connect (https://doc…
28 янв '20 в 10:26
1
ответ
databricks-connect, py4j.protocol.Py4JJavaError: произошла ошибка при вызове o342.cache
Подключение к блокам данных работает нормально, работа с DataFrames проходит гладко (такие операции, как объединение, фильтрация и т. Д.). Проблема появляется при звонкеcache на фреймворке данных. py4j.protocol.Py4JJavaError: An error occurred while…
03 фев '20 в 20:16
5
ответов
Не удается запустить кластер Azure Databricks
Я новичок в MS Azure. Я пытаюсь загрузить Microsoft Academic Graph для различного анализа, но они не предлагают массовую загрузку структурированного набора данных. Внешние источники, такие как openacademicgraph, были бесполезны, поэтому я подумал, ч…
04 мар '20 в 01:35
2
ответа
Эквивалент Databricks sc.broadcast() локально с подключением Databricks
Я переношу код из записной книжки Databricks в записную книжку Jupyter локально. Следующий код, который работает в Databricks Notebook, не работает локально. res = sc.broadcast(spark.read.table(my_table)) Вот мой местный код: from pyspark.sql import…
18 мар '20 в 18:46
0
ответов
Проблема с конфигурацией Databricks Spark
Привет, я использую databricks для подключения к кластеру databricks. Я в основном запускаю свою программу локально со своего ноутбука, и она выполняется в кластере блоков данных. Моя проблема здесь в том, что я заметил, что он не переопределяет кон…
15 апр '20 в 09:33
1
ответ
Записная книжка Databricks - Microsoft Azure - автозаполнение НЕ работает при подключении к кластеру
Записная книжка Databricks - Microsoft Azure - Автозаполнение НЕ работает, когда записная книжка Databricks подключена к кластеру. Может ли кто-нибудь поделиться указателями, чтобы исправить это? [Отредактировано] У меня есть пара кластеров, и я виж…
22 апр '20 в 19:35
1
ответ
Соединение Databricks SQL Server с использованием встроенной аутентификации
Я пытаюсь подключить свой кластер Databricks к существующей базе данных SQL Server с помощью python. Я хочу использовать интегрированный метод аутентификации. Получение ошибкиcom.microsoft.sqlserver.jdbc.SQLServerException: This driver is not config…
28 апр '20 в 00:21
1
ответ
Неисправности Spark не работают с объектом dbutils
Почему я не могу сделать что-то подобное? import spark.implicits._ dbutils.fs.ls(folderName).toDF выдает ошибку value toDF is not a member of Seq[com.databricks.backend.daemon.dbutils.FileInfo] Но в блокноте с данными работает нормально. Может ли кт…
04 май '20 в 22:53
1
ответ
Переключение между Databricks Connect и локальной средой Spark
Я хочу использовать Databricks Connect для разработки конвейера pyspark. DBConnect действительно великолепен, потому что я могу запускать свой код в кластере, где находятся фактические данные, поэтому он идеально подходит для интеграционного тестиро…
11 май '20 в 19:39
1
ответ
В разрешении отказано при вставке данных из Azure Databricks в Synapse в производственной среде
У всех нас есть сценарий в нашем проекте, в котором мы вставляем данные из фреймов данных Databricks в Azure Synapse. Хотя мы могли сделать это без проблем в среде Dev с доступом администратора, мы не могли запустить это в среде более высокого уровн…
13 май '20 в 17:42
1
ответ
Ошибка подключения Databricks из-за отсутствия файловой системы для схемы: abfss
У меня есть настройка Databricks Connect, чтобы я мог разрабатывать локально и получать полезности Intellij, в то же время используя мощь большого кластера Spark на Azure Databricks. Когда я хочу читать или писать в Azure Data Lakespark.read.csv("ab…
28 фев '20 в 18:35
0
ответов
Ошибка подключения к Databricks с локального компьютера
Я пытаюсь подключиться к Databricks со своего Mac(Мохаве). Я сделал pip install -U databricks-connect==5.5.* Я запускаю искровую оболочку, но когда я пытаюсь запросить искру, я получаю следующую ошибку Вызвано: com.databricks.service.SparkServiceCon…
03 мар '20 в 19:00
0
ответов
Databricks Connect Build Jar
Я использовал инструкции, чтобы установить databricks-connect и импортировать файлы jar в Intellij для подключения к кластеру databricks, как описано здесь:https://docs.databricks.com/dev-tools/databricks-connect.html. Насколько я понимаю, для подкл…
29 мар '20 в 10:51