Импала минимальный DDL
Я знаю, что мы можем создать таблицу Impala, как
CREATE EXTERNAL TABLE SCHEMA.TableName LIKE PARQUET
'/rootDir/SecondLevelDir/RawFileThatKnowsDataTypes.parquet'
Но я не уверен, что Impala может создать таблицу из файла (желательно текстового), который не имеет известного форматирования. Другими словами, если я просто дам случайный файл в hadoop с помощью команды put, могу ли я обернуть вокруг него Impala DDL и создать таблицу. Кто-нибудь может сказать мне?
1 ответ
Решение
Если ваш файл разделен символом новой строки, я считаю, что он должен работать, если вы предоставите разделитель столбцов с предложением ROW FORMAT, так как текстовый файл является форматом по умолчанию. Просто избавься от своего LIKE
и выберите имена и типы данных для ваших столбцов примерно так:
CREATE EXTERNAL TABLE SCHEMA.TableName (col1 STRING, col2 INT, col3 FLOAT)
'/rootDir/SecondLevelDir/RawFile'
row format delimited fields terminated by ",";