Не удается заставить Spark NLP работать с Databricks

Question

Я сделал следующее:

import pyspark
from pyspark.sql import SparkSession

from pyspark import SparkContext, SparkConf, SQLContext

spark = SparkSession \
    .builder \
    .appName('Amazon ETL') \
    .config('spark.jars.packages', 'com.johnsnowlabs.nlp:spark-nlp_2.11:2.4.5') \
    .getOrCreate()

Плюс...

import sparknlp
from sparknlp.annotator import *

и я получаю это сообщение об ошибке:Сообщение об ошибке

Любая помощь приветствуется!

Спасибо, Кельвин

Answer 1

Я решил проблему, предварительно установив зависимости JAVA, установив sparknlp lib с помощью maven.

В разделе "Библиотеки кластеров" выберите install new, тогда выбирай maven, и введитеcom.johnsnowlabs.nlp:spark-nlp_2.11:2.5.0