Описание тега johnsnowlabs-spark-nlp
NLP от John Snow Labs - это инструмент обработки естественного языка, созданный на основе конвейеров Apache Spark ML.
0
ответов
Не в состоянии использовать предварительно обученную модель JohnSnowLabs в Zeppelin
Я хочу использовать модуль проверки орфографии с предварительной подготовкой JohnSnowLabs в моей записной книжке Zeppelin. Как уже упоминалось, я добавил com.johnsnowlabs.nlp:spark-nlp_2.11:1.7.3 в раздел зависимостей Zeppelin, как показано ниже: Те…
22 ноя '18 в 10:49
0
ответов
Не удается запустить ноутбук OCR от Johnsnow на кирпичах данных
Поэтому я пытаюсь проследить за этим блокнотом и заставить его работать с блокнотом данных: https://github.com/JohnSnowLabs/spark-nlp-workshop/blob/master/jupyter/ocr-spell/OcrSpellChecking.ipynb; Тем не менее, после установки всех пакетов, я все ещ…
20 дек '18 в 04:41
1
ответ
Я получаю 'Task not serializable', когда пытаюсь запустить пример John Snow spark-nlp в Scala
Я пытался запустить пример John Snow Spark-NLP из этого репозитория: https://github.com/JohnSnowLabs/spark-nlp/blob/master/example/src/TrainViveknSentiment.scala на моей локальной машине. Но это бросает org.apache.spark.SparkException: Task not seri…
24 янв '19 в 16:53
1
ответ
Как использовать модуль исправления орфографии JohnSnowLabs NLP NorvigSweetingModel?
Я проходил проверку правописания JohnSnowLabs здесь. Я нашел NorvigРеализация алгоритма там, и пример раздела имеет только две следующие строки: import com.johnsnowlabs.nlp.annotator.NorvigSweetingModel NorvigSweetingModel.pretrained() Может кто-ниб…
21 ноя '18 в 18:15
1
ответ
Поддерживает ли библиотека NLP John Snow Labs, построенную на основе Apache Spark, Java?
Библиотека НЛП John Snow Labs построена на основе библиотек Apache Spark и Spark ML. Все его примеры представлены в Scala и Python. Это поддерживает Java? Если да, где я могу найти соответствующие руководства? Если нет их какой-либо план поддержки J…
23 мар '18 в 14:16
0
ответов
Где я могу найти список меток классов для предварительно обученного SparkNLP NerDLModel?
Я долго искал, но безуспешно выяснил, какие метки NER включены в предварительно подготовленную модель NerDL(тензор потока). Я думаю, что данные обучения могут предоставить такую информацию, но я не вижу, чтобы она упоминалась в какой-либо документ…
26 ноя '18 в 19:13
0
ответов
Как загрузить предварительно обученную модель spark-nlp с диска
От spark-nlp Страница GitGub Я скачал .zip файл, содержащий предварительно обученную NerCRFModel. Почтовый индекс содержит три папки: вложения, поля и метаданные. Как мне загрузить это в Scala NerCrfModel чтобы я мог его использовать? Должен ли я по…
29 авг '18 в 14:56
0
ответов
add-файл spark-nlp не поддерживает локальные каталоги, когда не работает локальный режим
Я не могу загрузить файлы модели spark-nlp в мой кластер spark. При попытке загрузить файлы модели это то, что я получаю - Exception in thread "main" org.apache.spark.SparkException: addFile does not support local directories when not running local …
18 июл '18 в 08:44
1
ответ
Spark Python Pyspark Как сгладить столбец с помощью массива словарей и встроенных словарей (вывод аннотатора sparknlp)
Я пытаюсь извлечь вывод из sparknlp (используя Pretrained Pipeline 'объяснение_document_dl'). Я потратил много времени в поисках путей (UDF, взрыва и т. Д.), Но не могу приблизиться к работоспособному решению. Скажем, я хочу получить значения экстра…
24 июн '19 в 19:41
0
ответов
Работают ли предварительно подготовленные трубопроводы Spark-NLP только в системах linux?
Я пытаюсь настроить простой код, в котором я передаю фрейм данных и тестирую его с помощью предварительно подготовленного конвейера объяснения, предоставляемого библиотекой johnSnowLabs Spark-NLP. Я использую ноутбуки Jupyter от Anaconda, и у меня е…
22 авг '19 в 16:09
0
ответов
Как определить основной объект (категорию), если запрос содержит несколько категорий
Я хочу извлечь ключевое намерение пользователя путем определения ключевой категории из вероятной категории, определенной каким-либо процессом. Например, елочное украшение Над запросом есть 2 категории 1) новогодняя елка 2) украшение Фактическое наме…
08 авг '19 в 15:20
0
ответов
Проблемы совместимости версий с Scala, Spark, Spark NLP
Я новичок в "Spark NLP" и застрял только в проблемах совместимости версий. Это может показаться глупым, но все же я прошу вас помочь мне в этом: "Spark NLP" построен на основе Apache Spark 2.4.0 и является единственным поддерживаемым выпуском (упоми…
09 июл '19 в 06:39
0
ответов
Неверные или отсутствующие аннотаторы inputCols в SparkNLP
Я использую аннотатор SentimentDetector в dataframe df, который имеет текст столбца, но я продолжаю получать следующую ошибку java.lang.IllegalArgumentException: требование не выполнено: неверные или отсутствующие аннотаторы inputCols в SentimentDet…
24 апр '20 в 05:42
1
ответ
Как установить автономные пакеты Spark NLP
Как установить автономные пакеты Spark NLP без подключения к Интернету. Я скачал пакет (recognizee_entities_dl) и загрузил в кластер. Я установил Spark NLP, используя pip install spark-nlp==2.5.5. Я использую PySpark, и мне не удается загрузить паке…
17 авг '20 в 10:20
2
ответа
невозможно загрузить конвейер, предоставленный библиотекой spark-nlp
Я не могу использовать предопределенный конвейер "признать_ентити_дл", предоставленный библиотекой spark-nlp я пробовал установить разные версии библиотеки pyspark и spark-nlp import sparknlp from sparknlp.pretrained import PretrainedPipeline #creat…
23 окт '19 в 15:20
0
ответов
Новичок в этом искровом мире НЛП. Как преобразовать текстовый файл в формат CoNLL, чтобы тренироваться с помощью Spark nlp framework? любая идея?
Я хочу аннотировать свои собственные данные в CONLL, а затем обучить пользовательский NER в Spark NLP.
08 июн '20 в 12:11
1
ответ
Не удается заставить Spark NLP работать с Databricks
Я сделал следующее: import pyspark from pyspark.sql import SparkSession from pyspark import SparkContext, SparkConf, SQLContext spark = SparkSession \ .builder \ .appName('Amazon ETL') \ .config('spark.jars.packages', 'com.johnsnowlabs.nlp:spark-nlp…
10 май '20 в 03:56
0
ответов
An error occurred while calling o266.fit while trying to fit the train data set in sparknlp pipeline
An error occurred while calling o266.fit while trying to fit the train data set in sparknlp pipeline. Environment: openjdk version "1.8.0_252" Spark NLP version 2.5.0 Apache Spark version: 2.4.4 The data set is taken from https://www.kaggle.com/c/nl…
25 июл '20 в 04:06
1
ответ
Как нам использовать setDictionary для аннотатора лемматизации в Spark-NLP?
У меня есть требование, по которому я должен добавить словарь на этапе лемматизации. При попытке использовать его в конвейере и выполнении pipeline.fit() я получаю исключение arrayIndexOutOfBounds. Как правильно это реализовать? есть примеры? Я пере…
10 сен '19 в 14:59
2
ответа
требование не выполнено: аннотаторы inputCols неверны или отсутствуют в johnsnowlabs.nlp
Я использую com.johnsnowlabs.nlp-2.2.2с spark-2.4.4 для обработки некоторых статей. В этих статьях, есть некоторые очень длинные слова меня не интересует и что замедляет POS мечения на много. Я бы хотел исключить их после токенизации и до POSTagging…
01 окт '19 в 00:57