Как установить PYODBC в Databricks

Я должен установить модуль pyodbc в Databricks. Я попытался с помощью этой команды (pip install pyodbc) но это не удалось из-за ошибки ниже.

Сообщение об ошибке

Источник

2 ответа

Решение

Щелкните правой кнопкой мыши папку "Рабочая область", в которой вы хотите сохранить библиотеку.

Выберите "Создать"> "Библиотека".

Посмотрите этот https://docs.databricks.com/user-guide/libraries.html для получения подробной информации

Источник

У меня была такая же проблема с установкой. Это то, что я пробовал, и это сработало.

  • Databricks не имеет драйвера ODBC по умолчанию. Выполните следующие команды в одной ячейке, чтобы установить драйвер MS SQL ODBC
%sh
curl https://packages.microsoft.com/keys/microsoft.asc | apt-key add -
curl https://packages.microsoft.com/config/ubuntu/16.04/prod.list > /etc/apt/sources.list.d/mssql-release.list
sudo apt-get update
sudo ACCEPT_EULA=Y apt-get -q -y install msodbcsql17
  • Запустите это в записной книжке
dbutils.fs.put("/databricks/init/<YourClusterName>/pyodbc-install.sh","""
#!/bin/bash
sudo apt-get update
sudo apt-get -q -y install unixodbc unixodbc-dev
sudo apt-get -q -y install python3-dev
/databricks/python/bin/pip install pyodbc
""", True)

  • Перезагрузите кластер

  • Импортировать pyodbc в код

Источник

У меня были некоторые проблемы с подключением с помощью pyobdc, подробности моего исправления здесь: https://datathirst.net/blog/2018/10/12/executing-sql-server-stored-procedures-on-databricks-pyspark

Я думаю, что проблема связана с PYTHONPATH для кластеров блоков данных, которые устанавливаются для установки Python 2.

Я подозреваю, что строки:

%sh    
apt-get -y install unixodbc-dev
/databricks/python/bin/pip install pyodbc

Будет работать на вас.

Обновление: еще проще (хотя вам все еще понадобится unixodbc-dev сверху):

%sh 
sudo apt-get install python3-pip -y
pip3 install --upgrade pyodbc
Источник
Другие вопросы по тегам