pinot-plugins.tar.gz не существует Проблема в Пино

Я загружаю данные из местоположения HDFS в таблицу Pinot Hybrid. Я создал одну таблицу и теперь пытаюсь переместить данные из hdfs в таблицу Pinot. Вот мой файл конфигурации.

      executionFrameworkSpec:
  name: 'hadoop'
  segmentGenerationJobRunnerClassName: 
'org.apache.pinot.plugin.ingestion.batch.hadoop.HadoopSegmentGenerationJobRunner'
  segmentTarPushJobRunnerClassName: 
'org.apache.pinot.plugin.ingestion.batch.hadoop.HadoopSegmentTarPushJobRunner'
  segmentUriPushJobRunnerClassName: 
'org.apache.pinot.plugin.ingestion.batch.hadoop.HadoopSegmentUriPushJobRunner'
  extraConfigs:
    stagingDir: /home/rah/hybrid/staging/
jobType: SegmentCreationAndTarPush
inputDirURI: 'hdfs://10.140.127.127:8030/user/hdfs/raw_data/table=SI_TRANSACTION'
includeFileNamePattern: 'glob:**/*.txt'
outputDirURI: '/home/rah/hybrid/segment'
overwriteOutput: true
pinotFSSpecs:
 -  scheme: hdfs
    className: org.apache.pinot.plugin.filesystem.HadoopPinotFS
 -  scheme: file
    className: org.apache.pinot.spi.filesystem.LocalPinotFS
recordReaderSpec:
  className: 'org.apache.pinot.plugin.inputformat.json.JSONRecordReader'
tableSpec:
  tableName: 'hybrid'
  schemaURI: 'http://10.150.117.170:9000/tables/hybrid/schema'
  tableConfigURI: 'http://10.150.117.170:9000/tables/hybrid'
segmentNameGeneratorSpec:
  type: normalizedDate
  configs:
    segment.name.prefix: 'hybrid'
    exclude.sequence.id: true
pinotClusterSpecs:
 - controllerURI: 'http://10.150.117.170:9000'
pushJobSpec:
  pushParallelism: 1
  pushAttempts: 1
  pushRetryIntervalMillis: 1000

Примечание: hdfs://10.140.127.127:8030/user/hdfs/raw_data/table=SI_TRANSACTION это расположение hdfs, откуда я хочу загрузить файлы.

      stagingDir: /home/rah/hybrid/staging/
outputDirURI: '/home/rah/hybrid/segment'

это 2 локальных каталога.

Команда, которую я выполняю.

      hadoop jar  \
    ${PINOT_DISTRIBUTION_DIR}/lib/pinot-all-${PINOT_VERSION}-jar-with- 
   dependencies.jar \
    org.apache.pinot.tools.admin.command.LaunchDataIngestionJobCommand \
    -jobSpecFile 
  ${PINOT_DISTRIBUTION_DIR}/examples/batch/airlineStats/hadoopIngestionJobSpechybrid.yaml

Ошибка:

Диагностика: файл файла: /home/rah/hybrid/staging/pinot-plugins.tar.gz не существует

В чем проблема?

0 ответов

Другие вопросы по тегам