Описание тега databricks-connect

0 ответов

pyspark.sql.utils.IllegalArgumentException при записи искрового фрейма данных в дельта-таблицу в Azure

Попытка вставить фрейм данных Spark после чтения из CSV в таблицу Azure Delta в пакетном режиме удаленно. Ошибка ниже в этой строке для некоторых партий, но не all-->>sparkDf.write.format("delta").mode("append").saveAsTable() pyspark.sql.utils…
0 ответов

Невозможно выполнить код Scala в кластере Azure DataBricks

Я пытаюсь настроить среду разработки для DataBricks, поэтому мои разработчики могут писать код с помощью VSCODE IDE(или какой-либо другой IDE) и выполнять код для кластера DataBricks. Итак, я просмотрел документацию DataBricks Connect и выполнил нас…
1 ответ

Подключение к блоку данных Azure с помощью databricks-connect

Я следую https://docs.databricks.com/dev-tools/databricks-connect.html, чтобы подключиться к лазурным блокам данных #creating environment dbconnect (base) C:\>conda create --name dbconnect python=3.7 (base) C:\>conda activate dbconnect (dbconn…
2 ответа

Как правильно получить доступ к dbutils в Scala при использовании Databricks Connect

Я использую Databricks Connect для локального запуска кода в моем кластере Azure Databricks из IntelliJ IDEA (Scala). Все нормально работает. Я могу подключаться, отлаживать, проверять локально в среде IDE. Я создал задание Databricks для запуска св…
1 ответ

Spark DataFrame в таблицу ADW: невозможно вставить столбец с символами> 4k

У меня есть искровый фрейм данных на DataBricks со столбцом со значением, имеющим длину символа> 10000. Мне нужно вставить это в таблицу хранилища данных Azure (ADW), но я получаю сообщение об ошибке, если длина символа столбца превышает 4000. Ошибк…
1 ответ

Ошибка атрибута при создании области для доступа к Azure Datalake Gen2 из Databricks

Я пытался настроить, используя прицелы, и у меня возникли некоторые проблемы. Любая помощь будет оценена. Я выполнил следующие команды в Databricks CLI databricks secrets create-scope --scope dnb-dlg2-dbrcks-scp-stg databricks secrets put --scope dn…
1 ответ

Как сгенерировать привилегированный токен databricks, действующий более 48 часов

Хотел бы запустить локальную записную книжку Jupiter, подключенную к кластеру Azure databricks, и вам нужно использовать dbutils для получения секретов. Для этого необходимо сохранить привилегированный токен локально, и он будет действовать только 2…
0 ответов

Как интегрировать Eclipse IDE с кластером Databricks

Я пытаюсь интегрировать свою IDE Scala Eclipse с моим кластером Azure Databricks, чтобы я мог напрямую запускать свою программу Spark через Eclipse IDE в моем кластере Databricks. Я следил за официальной документацией Databricks Connect (https://doc…
1 ответ

databricks-connect, py4j.protocol.Py4JJavaError: произошла ошибка при вызове o342.cache

Подключение к блокам данных работает нормально, работа с DataFrames проходит гладко (такие операции, как объединение, фильтрация и т. Д.). Проблема появляется при звонкеcache на фреймворке данных. py4j.protocol.Py4JJavaError: An error occurred while…
03 фев '20 в 20:16
5 ответов

Не удается запустить кластер Azure Databricks

Я новичок в MS Azure. Я пытаюсь загрузить Microsoft Academic Graph для различного анализа, но они не предлагают массовую загрузку структурированного набора данных. Внешние источники, такие как openacademicgraph, были бесполезны, поэтому я подумал, ч…
2 ответа

Эквивалент Databricks sc.broadcast() локально с подключением Databricks

Я переношу код из записной книжки Databricks в записную книжку Jupyter локально. Следующий код, который работает в Databricks Notebook, не работает локально. res = sc.broadcast(spark.read.table(my_table)) Вот мой местный код: from pyspark.sql import…
18 мар '20 в 18:46
0 ответов

Проблема с конфигурацией Databricks Spark

Привет, я использую databricks для подключения к кластеру databricks. Я в основном запускаю свою программу локально со своего ноутбука, и она выполняется в кластере блоков данных. Моя проблема здесь в том, что я заметил, что он не переопределяет кон…
1 ответ

Записная книжка Databricks - Microsoft Azure - автозаполнение НЕ работает при подключении к кластеру

Записная книжка Databricks - Microsoft Azure - Автозаполнение НЕ работает, когда записная книжка Databricks подключена к кластеру. Может ли кто-нибудь поделиться указателями, чтобы исправить это? [Отредактировано] У меня есть пара кластеров, и я виж…
1 ответ

Соединение Databricks SQL Server с использованием встроенной аутентификации

Я пытаюсь подключить свой кластер Databricks к существующей базе данных SQL Server с помощью python. Я хочу использовать интегрированный метод аутентификации. Получение ошибкиcom.microsoft.sqlserver.jdbc.SQLServerException: This driver is not config…
1 ответ

Неисправности Spark не работают с объектом dbutils

Почему я не могу сделать что-то подобное? import spark.implicits._ dbutils.fs.ls(folderName).toDF выдает ошибку value toDF is not a member of Seq[com.databricks.backend.daemon.dbutils.FileInfo] Но в блокноте с данными работает нормально. Может ли кт…
04 май '20 в 22:53
1 ответ

Переключение между Databricks Connect и локальной средой Spark

Я хочу использовать Databricks Connect для разработки конвейера pyspark. DBConnect действительно великолепен, потому что я могу запускать свой код в кластере, где находятся фактические данные, поэтому он идеально подходит для интеграционного тестиро…
11 май '20 в 19:39
1 ответ

В разрешении отказано при вставке данных из Azure Databricks в Synapse в производственной среде

У всех нас есть сценарий в нашем проекте, в котором мы вставляем данные из фреймов данных Databricks в Azure Synapse. Хотя мы могли сделать это без проблем в среде Dev с доступом администратора, мы не могли запустить это в среде более высокого уровн…
1 ответ

Ошибка подключения Databricks из-за отсутствия файловой системы для схемы: abfss

У меня есть настройка Databricks Connect, чтобы я мог разрабатывать локально и получать полезности Intellij, в то же время используя мощь большого кластера Spark на Azure Databricks. Когда я хочу читать или писать в Azure Data Lakespark.read.csv("ab…
0 ответов

Ошибка подключения к Databricks с локального компьютера

Я пытаюсь подключиться к Databricks со своего Mac(Мохаве). Я сделал pip install -U databricks-connect==5.5.* Я запускаю искровую оболочку, но когда я пытаюсь запросить искру, я получаю следующую ошибку Вызвано: com.databricks.service.SparkServiceCon…
0 ответов

Databricks Connect Build Jar

Я использовал инструкции, чтобы установить databricks-connect и импортировать файлы jar в Intellij для подключения к кластеру databricks, как описано здесь:https://docs.databricks.com/dev-tools/databricks-connect.html. Насколько я понимаю, для подкл…