Nutch2.0 с кассандрой

Exception in thread "main" org.apache.gora.util.GoraException: java.io.IOException
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:167)
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:135)
    at org.apache.nutch.storage.StorageUtils.createWebStore(StorageUtils.java:75)
    at org.apache.nutch.crawl.InjectorJob.run(InjectorJob.java:214)
    at org.apache.nutch.crawl.Crawler.runTool(Crawler.java:68)
    at org.apache.nutch.crawl.Crawler.run(Crawler.java:136)
    at org.apache.nutch.crawl.Crawler.run(Crawler.java:250)
    at org.apache.hadoop.util.ToolRunner.run(ToolRunner.java:65)
    at org.apache.nutch.crawl.Crawler.main(Crawler.java:257)
Caused by: java.io.IOException
    at org.apache.gora.cassandra.store.CassandraStore.initialize(CassandraStore.java:88)
    at org.apache.gora.store.DataStoreFactory.initializeDataStore(DataStoreFactory.java:102)
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:161)
    ... 8 more
Caused by: java.lang.NullPointerException
    at org.apache.gora.cassandra.store.CassandraMapping.<init>(CassandraMapping.java:117)
    at org.apache.gora.cassandra.store.CassandraMappingManager.get(CassandraMappingManager.java:84)
    at org.apache.gora.cassandra.store.CassandraClient.initialize(CassandraClient.java:84)
    at org.apache.gora.cassandra.store.CassandraStore.initialize(CassandraStore.java:85)
    ... 10 more

Я просто запускаю NUTCH2.0 на Кассандре. Это вывод сканирования, а вывод TestGoreStorage выглядит следующим образом:

Starting!
Exception in thread "main" org.apache.gora.util.GoraException: java.io.IOException
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:167)
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:135)
    at org.apache.nutch.storage.StorageUtils.createWebStore(StorageUtils.java:75)
    at org.apache.nutch.storage.TestGoraStorage.main(TestGoraStorage.java:204)
Caused by: java.io.IOException
    at org.apache.gora.cassandra.store.CassandraStore.initialize(CassandraStore.java:88)
    at org.apache.gora.store.DataStoreFactory.initializeDataStore(DataStoreFactory.java:102)
    at org.apache.gora.store.DataStoreFactory.createDataStore(DataStoreFactory.java:161)
    ... 3 more
Caused by: java.lang.NullPointerException
    at org.apache.gora.cassandra.store.CassandraMapping.<init>(CassandraMapping.java:117)
    at org.apache.gora.cassandra.store.CassandraMappingManager.get(CassandraMappingManager.java:84)
    at org.apache.gora.cassandra.store.CassandraClient.initialize(CassandraClient.java:84)
    at org.apache.gora.cassandra.store.CassandraStore.initialize(CassandraStore.java:85)
    ... 5 more

Я могу связать Кассандру с Кассандра-Кли, и просто проверить орех из SVN. Вот конфиг эффекта в gora.properties:

    gora.datastore.default=org.apache.gora.cassandra.store.CassandraStore
    gora.sqlstore.jdbc.driver=org.hsqldb.jdbc.JDBCDriver
    gora.sqlstore.jdbc.url=jdbc:hsqldb:hsql://210.44.138.8/nutchtest
    gora.sqlstore.jdbc.user=sa
    gora.sqlstore.jdbc.password=
    gora.cassandrastore.servers=210.44.138.8:9160

и конфиг в Гора-Кассандра-маппинг:

<keyspace name="webpage" cluster="My Cluster" host="210.44.138.8">
    <family name="p"/>
    <family name="f"/>
    <family name="sc" type="super"/>
</keyspace>

210.44.138.8 - это узел моего кластера, и имя кластера - "Мой кластер", больше информации: закрытый межсетевой экран, запуск в затмении. Мне очень приятно, если кто-нибудь мне поможет.

Источник

1 ответ

Я не уверен, что у меня была точно такая же проблема, но я обнаружил, что в файле gora-cassandra-mapping.xml мне пришлось добавить атрибутkeypace (keyspace = "ks1") к элементу class:

<keyspace name="ks1" cluster="My Cluster" host="1.2.3.4">
    ...
</keyspace>
<class keyspace="ks1" keyClass="java.lang.String" name="org.apache.nutch.storage.WebPage">
    ...
</class>
Источник
Другие вопросы по тегам