Hive 3.1 Дельта-файлы ACID - Незначительное автоматическое уплотнение не запущено
У меня есть таблица кустов с включенной кислотой, с разделением на сегменты, в которую я пишу с помощью потокового клиента. Я вижу, что несколько дельта-файлов создаются, когда записи записываются в разделы. Я хотел включить автоматическое сжатие и попробовал следующие базовые и конкретные параметры:
hive.support.concurrency=true
hive.enforce.bucketing=true
hive.exec.dynamic.partition.mode=nonstrict
hive.txn.manager=org.apache.hadoop.hive.ql.lockmgr.DbTxnManager
hive.compactor.initiator.on=true
hive.compactor.worker.threads=1
с,
hive.compactor.initiator.on=true
hive.compactor.cleaner.run.interval=5000ms
hive.compactor.delta.num.threshold=10 (to enable minor for 10 deltas)
hive.compactor.delta.pct.threshold=1000 (to disable major)
hive.compactor.abortedtxn.threshold=1000
hive.compactor.initiator.failed.compacts.threshold=2
hive.compactor.abortedtxn.threshold=1000
Я сделал это в надежде отключить основное сжатие и включить автоматическое незначительное сжатие (порог = 10 дельта-файлов). Однако я вижу, что сжатие не запускается автоматически. Когда я запускаю его (вспомогательный) вручную, я вижу сегменты в нескольких дельта-файлах, которые объединяются в один отдельный дельта-файл. Как включить автоматическое минорное сжатие для таблицы?