Улей отбрасывает перегородки, используя метастазирование по дальности
Я использую Hadoop 2.6.0-cdh5.14.2, Hive 1.1.0-cdh5.14.2 В этой системе существует огромная таблица с разделом 183K+, это внешняя таблица и команда:
0: jdbc:hive2://hiveserver2.hd.docomodigital.> drop table unifieddata_work.old__raw_ww_eventsjson
не работает, metastore не отвечает в течение 600 секунд, и задача заканчивается с ошибкой.
Я попытался удалить разделы, используя диапазон:
0: jdbc:hive2://hiveserver2.hd.docomodigital.> alter table unifieddata_work.old__raw_ww_eventsjson drop PARTITION (country='ae', year='2017', month='01', day>'29', hour > '00' );
INFO : Compiling command(queryId=hive_20180821140909_ba6c4bb0-d0de-4fd3-a5ec-47e217289c6b): alter table unifieddata_work.old__raw_ww_eventsjson drop PARTITION (country='ae', year='2017', month='01', day>'29', hour > '00' )
INFO : Semantic Analysis Completed
INFO : Returning Hive schema: Schema(fieldSchemas:null, properties:null)
INFO : Completed compiling command(queryId=hive_20180821140909_ba6c4bb0-d0de-4fd3-a5ec-47e217289c6b); Time taken: 0.612 seconds
INFO : Executing command(queryId=hive_20180821140909_ba6c4bb0-d0de-4fd3-a5ec-47e217289c6b): alter table unifieddata_work.old__raw_ww_eventsjson drop PARTITION (country='ae', year='2017', month='01', day>'29', hour > '00' )
INFO : Starting task [Stage-0:DDL] in serial mode
INFO : Dropped the partition country=ae/year=2017/month=01/day=30/hour=01
INFO : Dropped the partition country=ae/year=2017/month=01/day=30/hour=02
INFO : Dropped the partition country=ae/year=2017/month=01/day=30/hour=03
INFO : Dropped the partition country=ae/year=2017/month=01/day=30/hour=04
INFO : Dropped the partition country=ae/year=2017/month=01/day=30/hour=05
INFO : Dropped the partition country=ae/year=2017/month=01/day=30/hour=06
INFO : Dropped the partition country=ae/year=2017/month=01/day=30/hour=07
INFO : Dropped the partition country=ae/year=2017/month=01/day=30/hour=08
INFO : Dropped the partition country=ae/year=2017/month=01/day=30/hour=09
... CUTTED HERE ...
Это работает, но с Metastore происходит что-то плохое: перестает работать канарейка. Есть идеи о том, как решить проблему? Есть ли альтернативный способ удалить такую большую таблицу?