Могу ли я переместить данные из одного раздела куста в другой раздел той же таблицы
Мой раздел основан на год / месяц / дата. Использование SimpleDateFormat для года недели создало неправильный раздел. Данные за дату 2017-31-12 были перемещены в 2018-31-12 с использованием YYYY в формате даты.
SimpleDateFormat sdf = new SimpleDateFormat("YYYY-MM-dd");
Поэтому я хочу переместить мои данные из раздела 2018/12/31 в 2017/12/31 той же таблицы. Я не нашел соответствующей документации, чтобы сделать то же самое.
2 ответа
Из того, что я понял, вы хотели бы перенести данные из раздела 2018-12-31 в 2017/12/31. Ниже мое объяснение того, как вы можете это сделать.
#From Hive/Beeline
ALTER TABLE TableName PARTITION (PartitionCol=2018-12-31) RENAME TO PARTITION (PartitionCol=2017-12-31);
FromSparkCode, вы в основном должны инициировать hiveContext и запустить тот же HQL из него. Вы можете сослаться на один мой ответ здесь о том, как инициировать контекст улья.
#If you want to do on HDFS level, below is one of the approaches
#FromHive/beeline run the below HQL
ALTER TABLE TableName ADD IF NOT EXISTS PARTITION (PartitionCol=2017-12-31);
#Now from HDFS Just move the data in 2018 to 2017 partition
hdfs dfs -mv /your/table_hdfs/path/schema.db/tableName/PartitionCol=2018-12-31/* /your/table_hdfs/path/schema.db/tableName/PartitionCol=2017-12-31/
#removing the 2018 partition if you require
hdfs dfs -rm -r /your/table_hdfs/path/schema.db/tableName/PartitionCol=2018-12-31
#You can also drop from beeline/hive
alter table tableName drop if exists partition (PartitionCol=2018-12-31);
#At the end repair the table
msck repair table tableName
Существует JIRA, связанная с этим https://issues.apache.org/jira/browse/SPARK-19187. Обновите вашу версию spark до 2.0.1, чтобы решить проблему