Как установить автономные пакеты Spark NLP

Question

Как установить автономные пакеты Spark NLP без подключения к Интернету. Я скачал пакет (recognizee_entities_dl) и загрузил в кластер.

Я установил Spark NLP, используя pip install spark-nlp==2.5.5. Я использую PySpark, и мне не удается загрузить пакеты из кластера.

Уже пробовал;

pipeline = PretrainedPipeLine.from_disk('/path/to/recognize_entities_dl')
pipeline = PretrainedPipeLine.load('/path/to/recognize_entities_dl')

Ошибки:

'PretrainedPipeline' has no attribute 'load'

Input path does not exist:
    hdfs://...../recognize_entities_dl_en_2.4.3_2.4_1584626752821/metatdata

Answer 1

Глядя на вашу ошибку:

 hdfs://...../recognize_entities_dl_en_2.4.3_2.4_1584626752821/metatdata

метатданные, которые вы должны заменить на метаданные, удалив один лишний "t".

Кроме того, вы видите 2.4.3 в "распознавать_entities_dl_en_2.4.3_2.4_1584626752821"

Это означает, что это для Spark NLP 2.4.3.

Но в вопросе, который вы упомянули, вы используете,

spark-nlp==2.5.5

Что нормально, пока

2.5.5 >= 2.4.3

Но иногда это вызывает проблемы.

Также 2.4 в " accept_entities_dl_en_2.4.3_2.4_1584626752821"

Это означает, что это для Apache Spark 2.4.

Библиотека Spark NLP создана и скомпилирована для Apache Spark 2.4.x. Вот почему модели и конвейеры доступны только для версии 2.4.x.