Как загрузить предварительно обученную модель spark-nlp с диска

Question

От spark-nlp Страница GitGub Я скачал .zip файл, содержащий предварительно обученную NerCRFModel. Почтовый индекс содержит три папки: вложения, поля и метаданные.

Как мне загрузить это в Scala NerCrfModel чтобы я мог его использовать? Должен ли я поместить его в HDFS или на хост, на котором я запускаю свою Spark Shell? Как я могу ссылаться на это?

Answer 1

Вам просто нужно указать путь, в котором находятся упомянутые вами папки,

import com.johnsnowlabs.nlp.annotators.ner.crf.NerCrfModel
val path = "path/to/unziped/file/folder"
val model = NerCrfModel.read.load(path)
// use your model
model.setInputCols(someCol)
model.transform(yourData) // which contains 'someCol',

Насколько я помню, вы можете поместить папку в локальную или распределенную ФС, надеюсь, это поможет и другим пользователям!

лучше всего, Альберто.