pinot-plugins.tar.gz не существует Проблема в Пино
Я загружаю данные из местоположения HDFS в таблицу Pinot Hybrid. Я создал одну таблицу и теперь пытаюсь переместить данные из hdfs в таблицу Pinot. Вот мой файл конфигурации.
executionFrameworkSpec:
name: 'hadoop'
segmentGenerationJobRunnerClassName:
'org.apache.pinot.plugin.ingestion.batch.hadoop.HadoopSegmentGenerationJobRunner'
segmentTarPushJobRunnerClassName:
'org.apache.pinot.plugin.ingestion.batch.hadoop.HadoopSegmentTarPushJobRunner'
segmentUriPushJobRunnerClassName:
'org.apache.pinot.plugin.ingestion.batch.hadoop.HadoopSegmentUriPushJobRunner'
extraConfigs:
stagingDir: /home/rah/hybrid/staging/
jobType: SegmentCreationAndTarPush
inputDirURI: 'hdfs://10.140.127.127:8030/user/hdfs/raw_data/table=SI_TRANSACTION'
includeFileNamePattern: 'glob:**/*.txt'
outputDirURI: '/home/rah/hybrid/segment'
overwriteOutput: true
pinotFSSpecs:
- scheme: hdfs
className: org.apache.pinot.plugin.filesystem.HadoopPinotFS
- scheme: file
className: org.apache.pinot.spi.filesystem.LocalPinotFS
recordReaderSpec:
className: 'org.apache.pinot.plugin.inputformat.json.JSONRecordReader'
tableSpec:
tableName: 'hybrid'
schemaURI: 'http://10.150.117.170:9000/tables/hybrid/schema'
tableConfigURI: 'http://10.150.117.170:9000/tables/hybrid'
segmentNameGeneratorSpec:
type: normalizedDate
configs:
segment.name.prefix: 'hybrid'
exclude.sequence.id: true
pinotClusterSpecs:
- controllerURI: 'http://10.150.117.170:9000'
pushJobSpec:
pushParallelism: 1
pushAttempts: 1
pushRetryIntervalMillis: 1000
Примечание:
hdfs://10.140.127.127:8030/user/hdfs/raw_data/table=SI_TRANSACTION
это расположение hdfs, откуда я хочу загрузить файлы.
stagingDir: /home/rah/hybrid/staging/
outputDirURI: '/home/rah/hybrid/segment'
это 2 локальных каталога.
Команда, которую я выполняю.
hadoop jar \
${PINOT_DISTRIBUTION_DIR}/lib/pinot-all-${PINOT_VERSION}-jar-with-
dependencies.jar \
org.apache.pinot.tools.admin.command.LaunchDataIngestionJobCommand \
-jobSpecFile
${PINOT_DISTRIBUTION_DIR}/examples/batch/airlineStats/hadoopIngestionJobSpechybrid.yaml
Ошибка:
Диагностика: файл файла: /home/rah/hybrid/staging/pinot-plugins.tar.gz не существует
В чем проблема?