Solr DataImportHandler CachedSqlEntityProcessor ClassCastException

Question

Solr DataImportHandler CachedSqlEntityProcessor ClassCastException

Я использую Solr 4.6.0 и пытается импортировать мои данные, используя CachedSqlEntityProcessor, но каким-то образом я получаю ClassCastException,

схема

<fields>
   <field name="_version_" type="long" indexed="true" stored="true"/>
   <field name="id" type="int" indexed="true" stored="true" required="true" multiValued="false" /> 
   <field name="conference" type="string" indexed="true" stored="true" />
   <field name="year" type="int" indexed="true" stored="true" />
   <field name="doi" type="string" indexed="false" stored="true" />
   <field name="text" type="text_en_shingling" indexed="true" stored="true" />
 </fields>

Конфигурация данных

<dataConfig>
    <dataSource name="mysql" type="JdbcDataSource" 
        driver="com.mysql.jdbc.Driver" 
        url="..." 
        batchSize="-1" 
        user="..." password="..." />
    <document name="publications">
        <entity name="publication" query="
            SELECT
                sm_publications.id AS p_id,
                sm_publications.year AS p_year,
                sm_publications.doi AS p_doi,
                CONCAT(sm_publications.title, ' ', sm_publications.abstract) AS p_text,
                sm_publications.conference_id 
            FROM sm_publications 
            WHERE '${dataimporter.request.clean}' != 'false' OR 
                modified > '${dataimporter.last_index_time}'">
            <field column="p_id" name="id" />
            <field column="p_text" name="text" />
            <field column="p_year" name="year" />
            <field column="p_doi" name="doi" />

            <entity name="conference" query="SELECT id AS CID,full_name FROM sm_conferences"
                processor="CachedSqlEntityProcessor" cacheKey="CID" cacheLookup="publication.conference_id">
                <field column="full_name" name="conference" />
            </entity>

        </entity>
    </document>
</dataConfig>

Сообщение об ошибке

Full Import failed:java.lang.RuntimeException: java.lang.RuntimeException: org.apache.solr.handler.dataimport.DataImportHandlerException: java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.String
    at org.apache.solr.handler.dataimport.DocBuilder.execute(DocBuilder.java:270)
    at org.apache.solr.handler.dataimport.DataImporter.doFullImport(DataImporter.java:411)
    at org.apache.solr.handler.dataimport.DataImporter.runCmd(DataImporter.java:476)
    at org.apache.solr.handler.dataimport.DataImportHandler.handleRequestBody(DataImportHandler.java:179)
    at org.apache.solr.handler.RequestHandlerBase.handleRequest(RequestHandlerBase.java:135)
    at org.apache.solr.core.SolrCore.execute(SolrCore.java:1859)
    at org.apache.solr.servlet.SolrDispatchFilter.execute(SolrDispatchFilter.java:710)
    at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:413)
    at org.apache.solr.servlet.SolrDispatchFilter.doFilter(SolrDispatchFilter.java:197)
    at org.eclipse.jetty.servlet.ServletHandler$CachedChain.doFilter(ServletHandler.java:1419)
    at org.eclipse.jetty.servlet.ServletHandler.doHandle(ServletHandler.java:455)
    at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:137)
    at org.eclipse.jetty.security.SecurityHandler.handle(SecurityHandler.java:557)
    at org.eclipse.jetty.server.session.SessionHandler.doHandle(SessionHandler.java:231)
    at org.eclipse.jetty.server.handler.ContextHandler.doHandle(ContextHandler.java:1075)
    at org.eclipse.jetty.servlet.ServletHandler.doScope(ServletHandler.java:384)
    at org.eclipse.jetty.server.session.SessionHandler.doScope(SessionHandler.java:193)
    at org.eclipse.jetty.server.handler.ContextHandler.doScope(ContextHandler.java:1009)
    at org.eclipse.jetty.server.handler.ScopedHandler.handle(ScopedHandler.java:135)
    at org.eclipse.jetty.server.handler.ContextHandlerCollection.handle(ContextHandlerCollection.java:255)
    at org.eclipse.jetty.server.handler.HandlerCollection.handle(HandlerCollection.java:154)
    at org.eclipse.jetty.server.handler.HandlerWrapper.handle(HandlerWrapper.java:116)
    at org.eclipse.jetty.server.Server.handle(Server.java:368)
    at org.eclipse.jetty.server.AbstractHttpConnection.handleRequest(AbstractHttpConnection.java:489)
    at org.eclipse.jetty.server.BlockingHttpConnection.handleRequest(BlockingHttpConnection.java:53)
    at org.eclipse.jetty.server.AbstractHttpConnection.content(AbstractHttpConnection.java:953)
    at org.eclipse.jetty.server.AbstractHttpConnection$RequestHandler.content(AbstractHttpConnection.java:1014)
    at org.eclipse.jetty.http.HttpParser.parseNext(HttpParser.java:861)
    at org.eclipse.jetty.http.HttpParser.parseAvailable(HttpParser.java:240)
    at org.eclipse.jetty.server.BlockingHttpConnection.handle(BlockingHttpConnection.java:72)
    at org.eclipse.jetty.server.bio.SocketConnector$ConnectorEndPoint.run(SocketConnector.java:264)
    at org.eclipse.jetty.util.thread.QueuedThreadPool.runJob(QueuedThreadPool.java:608)
    at org.eclipse.jetty.util.thread.QueuedThreadPool$3.run(QueuedThreadPool.java:543)
    at java.lang.Thread.run(Unknown Source)
Caused by: java.lang.RuntimeException: org.apache.solr.handler.dataimport.DataImportHandlerException: java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.String
    at org.apache.solr.handler.dataimport.DocBuilder.buildDocument(DocBuilder.java:410)
    at org.apache.solr.handler.dataimport.DocBuilder.doFullDump(DocBuilder.java:323)
    at org.apache.solr.handler.dataimport.DocBuilder.execute(DocBuilder.java:231)
    ... 33 more
Caused by: org.apache.solr.handler.dataimport.DataImportHandlerException: java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.String
    at org.apache.solr.handler.dataimport.DataImportHandlerException.wrapAndThrow(DataImportHandlerException.java:63)
    at org.apache.solr.handler.dataimport.EntityProcessorWrapper.nextRow(EntityProcessorWrapper.java:246)
    at org.apache.solr.handler.dataimport.DocBuilder.buildDocument(DocBuilder.java:469)
    at org.apache.solr.handler.dataimport.DocBuilder.buildDocument(DocBuilder.java:495)
    at org.apache.solr.handler.dataimport.DocBuilder.buildDocument(DocBuilder.java:408)
    ... 35 more
Caused by: java.lang.ClassCastException: java.lang.Integer cannot be cast to java.lang.String
    at java.lang.String.compareTo(Unknown Source)
    at java.util.TreeMap.getEntry(Unknown Source)
    at java.util.TreeMap.get(Unknown Source)
    at org.apache.solr.handler.dataimport.SortedMapBackedCache.iterator(SortedMapBackedCache.java:147)
    at org.apache.solr.handler.dataimport.DIHCacheSupport.getIdCacheData(DIHCacheSupport.java:179)
    at org.apache.solr.handler.dataimport.DIHCacheSupport.getCacheData(DIHCacheSupport.java:145)
    at org.apache.solr.handler.dataimport.EntityProcessorBase.getNext(EntityProcessorBase.java:129)
    at org.apache.solr.handler.dataimport.SqlEntityProcessor.nextRow(SqlEntityProcessor.java:75)
    at org.apache.solr.handler.dataimport.EntityProcessorWrapper.nextRow(EntityProcessorWrapper.java:243)
    ... 38 more

Структура таблицы

3

solr classcastexception dataimporthandler

Источник

user319679 04 фев '14 в 09:52

6 ответов

Решение

Это дело случая. Вам нужно записать ключ в атрибуте cacheLookup в верхнем регистре. Если вы используете

cacheLookup="publication.CONFERENCE_ID"

это будет работать.

Все столбцы, которые вы собираете для сущности publication собраны внутри карты внутри. Ключи к этой карте в верхнем регистре. Когда ты пишешь cacheLookup="publication.CONFERENCE_ID" эта короткая часть после знака равенства publication.CONFERENCE_ID это короткий путь к этой карте. Видимо String#toUpper отсутствует в какой-то момент между ними.

Я добавил тестовый пример по этому поводу, посмотрите на DIHCachedTest, проверьте его и дайте ему поработать. Вам понадобится Maven для этого. Я создаю встроенный HSQLDB, который имитирует вашу схему, и запускаю встроенный Solr, который имеет 2 конфигурации импорта данных.

SRC / главная / ресурсы / Solr / дигидропиримидин-кэшируются / CONF / данных конфигурации-fault.xml
SRC / главная / ресурсы / Solr / дигидропиримидин-кэшируются / конференции / данные-config.xml

Первый используется для контрольного примера DIHCachedTest # runImportWithFault. Это приведет к той же ошибке, которую вы опубликовали в своем вопросе.

Второй используется для тестового примера DIHCachedTest # runImport. Это удастся.

Если вы сравните обе конфигурации, вы увидите, что единственным отличием является случай cacheLookup="publication.CONFERENCE_ID" против cacheLookup="publication.conference_id",

Проблема SOLR-2483 DIH - проблема в верхнем регистре в параметрах запроса описывает этот шаблон ошибки.

3

Источник

user2160152 12 фев '14 в 15:55

Это регрессия, появившаяся после введения поддержки подключаемого кэша в https://issues.apache.org/jira/browse/SOLR-2382 и обходной путь (работающий для меня) - приведение к строкам во всех столбцах, которые вы будете использовать. используйте в качестве ключей или значений. В PostgreSQL приведен синтаксис:

<entity name="par" dataSource="d" query="SELECT id, xyz, child_id::text FROM par;">
  <entity name="child" dataSource="d" query="SELECT id::text, abc FROM child;"
          processor="CachedSqlEntityProcessor"
          where="id=par.child_id"/>
</entity>

(и в других БД, я думаю, вам нужно CAST(id AS VARCHAR(10) или такой вместо id::text).

2

Источник

user74683 13 фев '14 в 10:45

Я не думаю, что что-то не так с вашей конфигурацией dataimporthandler, я скорее проверил, что ваши типы баз данных соответствуют вашему соответствующему проданному типу поля

Что-то вроде типа базы данных, в результате чего java.lang.Integer передается в поле solr на основе java.lang.String.

Ой, я мог бы ошибиться, ваше поле uniqueKey для SOLR все еще "id"? Вы установили в своей схеме это поле как целое число, что является плохой идеей.

http://wiki.apache.org/solr/SchemaXml

"Обратите внимание, что если вы включили QueryElevationComponent в solrconfig.xml, для схемы требуется наличие уникального ключа типа StrField. Это не может быть, например, поле int".

1

Источник

user2119709 06 фев '14 в 08:38

Solr CachedSqlEntityProcessor устарел где-то около версии 4.5. Новый синтаксис использует cacheImpl, cacheKey & cacheLookup

Мне пришлось обновить SQL в моем data-config.xml

Старый синтаксис

processor="CachedSqlEntityProcessor"
where="fkId=parentTable.parentId"

Новый Синтаксис

cacheKey="fkId" cacheLookup="parenttable.parentId" cacheImpl="SortedMapBackedCache"

Посмотрите полную последнюю информацию вики Solr, старая страница DataImportHanlder устарела https://cwiki.apache.org/confluence/display/solr/Uploading+Structured+Data+Store+Data+with+the+Data+Import+Handler

1

Источник

user792203 15 июл '16 в 12:24

Попробуйте эту ссылку http://wiki.apache.org/solr/DataImportHandler

Также вы можете обратиться по https://issues.apache.org/jira/browse/SOLR-3850

и http://lucene.472066.n3.nabble.com/How-do-I-use-CachedSqlEntityProcessor-td4064919.html и http://lucene.472066.n3.nabble.com/Using-CachedSqlEntityProcessor-with-delta-imports-in-DIH-td4091620.html

0

Источник

user2531799 13 фев '14 в 08:35

Другие вопросы по тегам solr classcastexception dataimporthandler

user2123154 12 фев '14 в 16:43 2014-02-12 16:43 · Accepted Answer · 2014-02-12 16:43

CachedSqlEntityProcessor использует DIHCacheSupport(Map<String,Object> getIdCacheData(...)), который не приспособлен для работы с ключами типа Integer, что является ожидаемым поведением для любого кэша. (Object key = context.resolve(cacheForeignKey);этот ключ должен иметь тип String)

SELECT CAST(id as CHAR(32)) AS CID,full_name FROM sm_conferences