Автоматический выбор разделителя при использовании csv-serde
Создали таблицу, используя:
)
ROW FORMAT SERDE 'com.bizo.hive.serde.csv.CSVSerde'
with serdeproperties(
"field.delim"="|"
)
Когда я попытался загрузить файл с разделителями-запятыми, он был загружен правильно. Как это возможно, если я настроил канал в качестве разделителя для данных? Есть ли у csv-Serde какой-нибудь "умный" способ определения разделителя?
1 ответ
Решение
Согласно документации действительные свойства CSVSerde
"separatorChar" = "\t",
"quoteChar" = "'",
"escapeChar" = "\\"
Разделитель по умолчанию, кавычки и экранирующие символы, если не указано
DEFAULT_ESCAPE_CHARACTER \
DEFAULT_QUOTE_CHARACTER "
DEFAULT_SEPARATOR ,
field.delim
не поддерживается свойство, которое игнорируется и использует настройки по умолчанию. Это свойство действительно для другого SerDe MultiDelimitSerDe