Вторичные индексы Phoenix обрабатывают журнал WAL специально?

Question

Мы используем Phoenix и hbase-indexer для нашего кластера hbase, и мы обнаружили любопытное явление о вторичных индексах phoenix:

Мы помещаем данные (используем psql для импорта данных csv) в одну таблицу (C_PICRECORD) с двумя таблицами глобальных изменяемых индексов (C_PICRECORD_IDX1 и C_PICRECORD_IDX2) из ​​phoenix и создаем hbase-indexer для репликации данных в solr. После завершения импорта данных мы обнаружили, что номер документа solr отличается от числа строк таблицы hbase. Когда мы отбрасываем таблицы индексов, очищаем данные и снова помещаем данные, мы обнаруживаем, что numfound документа solr совпадает с числом строк таблицы hbase.

Недавно мы нашли причину, по которой solr numfound документа отличается от количества строк в таблице hbase: 1) удаление документа приведет к ошибкам, хотя на самом деле мы просто импортируем данные (psql) с двумя таблицами глобального индекса из phoenix!

2) Любопытное явление о несовместимом количестве строк между solr и hbase возникает только тогда, когда у нас есть вторичные индексы с таблицей данных.

Это беспокоит нас долгое время, и кажется, что при использовании вторичных индексов Феникса происходит нечто иное.

Итак, мой вопрос: вторичные индексы Phoenix обрабатывают журнал WAL специально?

наш env:

cdh5.4.2 hbase-1.0.0-cdh5.4.2 phonenix-4.6 hbase-solr-1.5-cdh5.4.2 (hbase-indexer)

кластер: 3 hbase regionserver и 3 hbase-indexer

[Подсказки]

hbase-indexer помещает данные в solr на основе репликации hbase. Он перехватит журнал WAL и поместит заинтересованные данные в solr. hbase-indexer github: https://github.com/NGDATA/hbase-indexer

Answer 1

мы решили проблему недавно. Пожалуйста, посмотрите другой вопрос stackru:

hbase-indexer solr numFound отличается от размера строк таблицы hbase

И что касается вопроса, обрабатывают ли вторичные индексы Phoenix журнал WAL специально?, посмотри пожалуйста:

http://www.slideshare.net/jesse_yates/phoenix-secondary-indexing-la-hug-sept-9th-2013

для более подробной информации о вторичном индексе Феникса.