Гибридный стол в пино

Я создаю одну гибридную таблицу в Pinot, чтобы она могла принимать данные из kafka, а также из местоположения hdfs. Я слежу за этим документом. Https://docs.pinot.apache.org/basics/components/table. До сих пор я выполнял следующие шаги.

          1. bin/pinot-admin.sh AddTable \
    -schemaFile examples/batch/airlineStats/airlineStats_schema.json \
    -tableConfigFile examples/batch/airlineStats/airlineStats_offline_table_config.json \
    -exec


    2.   bin/pinot-admin.sh AddTable \
        -schemaFile examples/stream/airlineStats/airlineStats_schema.json \
        -tableConfigFile 
        examples/stream/airlineStats/airlineStats_realtime_table_config.json \
        -exec

Обновлен файл airportStats_schema в соответствии с моими данными и для данных в реальном времени, добавлен один блок streamConfigs: {} и переданы все специфические детали kafka.

Теперь я вижу 2 таблицы

  1. авиакомпанияStats_realtime
  2. Схема airportStats_offline одинакова для обеих таблиц. И в таблице в реальном времени я могу видеть данные темы кафки.

После этого в документе есть еще один файл «Создание гибридной таблицы», но я не могу понять, как и где мне использовать this.PFB содержимое файла.

Пожалуйста, предложите мне по следующим пунктам.

  1. Поскольку я могу видеть здесь 2 таблицы, как создать одну таблицу для обоих случаев (пакетные и потоковые данные).

  2. как мне загрузить данные из hdfs в эту гибридную таблицу.

            Hybrid Table creation Content mentioned in Document.
    
    "OFFLINE": {
    "tableName": "pinotTable", 
    "tableType": "OFFLINE", 
    "segmentsConfig": {
    ... 
    }, 
    "tableIndexConfig": { 
    ... 
    },  
    "tenants": {
    "broker": "myBrokerTenant", 
    "server": "myServerTenant"
    },
    "metadata": {
      ...
     }
     },
    
     "REALTIME": { 
     "tableName": "pinotTable", 
     "tableType": "REALTIME", 
     "segmentsConfig": {
      ...
      }, 
      "tableIndexConfig": { 
      ... 
     "streamConfigs": {
      ...
      },  
      },  
      "tenants": {
      "broker": "myBrokerTenant", 
      "server": "myServerTenant"
      },
      "metadata": {
      ...
      }
      }
      }
    

0 ответов

Другие вопросы по тегам