PIG не может понять данные таблицы hbase
Я использую hbase(0.94.13) на одном узле для моего академического проекта. После загрузки данных в таблицы hbase я пытаюсь запустить сценарии pig(0.11.1) для данных, используя HBaseStorage. Однако это выдает ошибку, говоря
IllegalArgumentException: Не хост: пара портов: \00\00\00
вот команда загрузки, которую я использую в Pig
books = LOAD 'hbase: // booksdb' USING
org.apache.pig.backend.hadoop.hbase.HBaseStorage ('details: title', '- loadKey true') AS (ID: chararray, title: chararray);
Я подумал, что это может быть проблемой из-за того, что hbase отличается от свиньи версией, отличной от той, что есть на моей машине. Но не могу заставить его работать без понижения моей базы. Любая помощь?
1 ответ
Кажется, вы пытаетесь отправить задание pig удаленно, если вам нужно добавить несколько настроек в файл pig.properties (или установить setting_name='values' в вашем скрипте)
hbase.zookeeper.quorum=<node>
hadoop.job.ugi=username,groupname
fs.default.name=hdfs://<node>:port
mapred.job.tracker=hdfs://<node>:port