Как преобразовать существующие текстовые данные в hdfs в Avro?

Question

У меня есть таблица в формате hdf, которая хранится в текстовом формате, поэтому теперь у меня есть требование добавить новый столбец между ними. Поэтому я решил загрузить новые столбцы в avro, так как Avro поддерживает эволюцию схемы, но теперь предыдущие данные все еще в текстовом формате.

Answer 1

Если у вас уже есть таблица, вы можете загрузить ее непосредственно в таблицу avro из куста, если нет, то вы можете создать таблицу куста для этого текстового файла и загрузить ее в таблицу avro. Что-то вроде

create table test(fields type)  row format delimited fields terminated by ',' stored as textile location 'textfilepath';
create table avrotbl like test stored as avrofile;
insert into abrotbl select * from test;