Гибридный стол в пино
Я создаю одну гибридную таблицу в Pinot, чтобы она могла принимать данные из kafka, а также из местоположения hdfs. Я слежу за этим документом. Https://docs.pinot.apache.org/basics/components/table. До сих пор я выполнял следующие шаги.
1. bin/pinot-admin.sh AddTable \
-schemaFile examples/batch/airlineStats/airlineStats_schema.json \
-tableConfigFile examples/batch/airlineStats/airlineStats_offline_table_config.json \
-exec
2. bin/pinot-admin.sh AddTable \
-schemaFile examples/stream/airlineStats/airlineStats_schema.json \
-tableConfigFile
examples/stream/airlineStats/airlineStats_realtime_table_config.json \
-exec
Обновлен файл airportStats_schema в соответствии с моими данными и для данных в реальном времени, добавлен один блок streamConfigs: {} и переданы все специфические детали kafka.
Теперь я вижу 2 таблицы
- авиакомпанияStats_realtime
- Схема airportStats_offline одинакова для обеих таблиц. И в таблице в реальном времени я могу видеть данные темы кафки.
После этого в документе есть еще один файл «Создание гибридной таблицы», но я не могу понять, как и где мне использовать this.PFB содержимое файла.
Пожалуйста, предложите мне по следующим пунктам.
Поскольку я могу видеть здесь 2 таблицы, как создать одну таблицу для обоих случаев (пакетные и потоковые данные).
как мне загрузить данные из hdfs в эту гибридную таблицу.
Hybrid Table creation Content mentioned in Document. "OFFLINE": { "tableName": "pinotTable", "tableType": "OFFLINE", "segmentsConfig": { ... }, "tableIndexConfig": { ... }, "tenants": { "broker": "myBrokerTenant", "server": "myServerTenant" }, "metadata": { ... } }, "REALTIME": { "tableName": "pinotTable", "tableType": "REALTIME", "segmentsConfig": { ... }, "tableIndexConfig": { ... "streamConfigs": { ... }, }, "tenants": { "broker": "myBrokerTenant", "server": "myServerTenant" }, "metadata": { ... } } }