Не могу построить ParagraphVectors в Linux
Я использую алгоритм Doc2Vec с Deeplearning4j, и он отлично работает, когда я запускаю его на своем компьютере с Windows 10, однако, когда я пытаюсь запустить его на компьютере с Linux, я получаю следующую ошибку:
java.lang.NoClassDefFoundError: Could not initialize class org.nd4j.linalg.factory.Nd4j
at org.deeplearning4j.models.embeddings.inmemory.InMemoryLookupTable$Builder.<init>(InMemoryLookupTable.java:581) ~[run.jar:?]
at org.deeplearning4j.models.sequencevectors.SequenceVectors$Builder.presetTables(SequenceVectors.java:801) ~[run.jar:?]
at org.deeplearning4j.models.paragraphvectors.ParagraphVectors$Builder.build(ParagraphVectors.java:663) ~[run.jar:?]
Я пробовал это на нескольких Linux-машинах, обе из которых работали с Xubuntu и имели права sudo
Вот код для создания моего ParagraphVectors: InputStream is = new ByteArrayInputStream(baos.toByteArray());
LabelAwareSentenceIterator iter;
iter = new LabelAwareListSentenceIterator(is, DELIM);
iter.setPreProcessor(new SentencePreProcessor() {
@Override
public String preProcess(String sentence) {
return new InputHomogenization(sentence).transform();
}
});
TokenizerFactory tokenizerFactory = new DefaultTokenizerFactory();
vec = new ParagraphVectors.Builder().minWordFrequency(minWordFrequency).batchSize(batchSize)
.iterations(iterations).layerSize(layerSize).stopWords(stopWords).windowSize(windowSize)
.learningRate(learningRate).tokenizerFactory(tokenizerFactory).iterate(iter).build();
vec.fit();
А вот мой pom.xml (все версии 0.7.1, но я использовал 0.4-rc3.9 и получил ту же ошибку):
<dependency>
<groupId>org.deeplearning4j</groupId>
<artifactId>deeplearning4j-ui-model</artifactId>
<version>${dl4j.version}</version>
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
<exclusion>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.deeplearning4j</groupId>
<artifactId>deeplearning4j-nlp</artifactId>
<version>${dl4j.version}</version>
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
<exclusion>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
</exclusion>
</exclusions>
</dependency>
<dependency>
<groupId>org.nd4j</groupId>
<artifactId>nd4j-native</artifactId>
<version>${nd4j.version}</version>
<exclusions>
<exclusion>
<groupId>org.slf4j</groupId>
<artifactId>slf4j-log4j12</artifactId>
</exclusion>
<exclusion>
<groupId>log4j</groupId>
<artifactId>log4j</artifactId>
</exclusion>
</exclusions>
</dependency>
<!-- https://mvnrepository.com/artifact/org.datavec/datavec-api -->
<dependency>
<groupId>org.datavec</groupId>
<artifactId>datavec-api</artifactId>
<version>${nd4j.version}</version>
</dependency>
1 ответ
Всегда придерживайтесь последней версии в первую очередь. Не могли бы вы опубликовать полную трассировку стека? Это определенно не первопричина. Может, попробовать вместо этого использовать nd4j-native-platform? Обычно это проблема с отсутствующими нативными артефактами.