Не удалось добавить новый узел в кластер кассандры
У меня есть кластер с четырьмя узлами, каждый узел с данными 70G. Когда я добавляю новый узел в кластер, он всегда предупреждает меня о проблеме с надгробиями, например:
WARN 09:38:03 Read 2578 live and 1114 tombstoned cells in xxxtable (see tombstone_warn_threshold).
10000 columns was requested, slices=[-], delInfo={deletedAt=-9223372036854775808,
localDeletion=2147483647, ranges=[FAE69193423616A400258D99B9C0CCCFEC4A9547C1A1FC17BF569D2405705B8E:_-FAE69193423616A400258D99B9C0CCCFEC4A9547C1A1FC17BF569D2405705B8E:!,
deletedAt=1456243983944000, localDeletion=1456243983][FAE69193423616A40EC252766DDF513FBCA55ECDFAF452052E6C95D4BD641201:_-FAE69193423616A40EC252766DDF513FBCA55ECDFAF452052E6C95D4BD641201:!,
deletedAt=1460026357100000, localDeletion=1460026357][FAE69193423616A41BED8E613CD24BF3583FB6C6ABBA13F19C3E2D1824D01EF6:_-FAE69193423616A41BED8E613CD24BF3583FB6C6ABBA13F19C3E2D1824D01EF6:!, deletedAt=1458176745950000, localDeletion=1458176745][FAE69193423616A41BED8E613CD24BF3B06C1306E35B0ACA719D800D254E5930:_-FAE69193423616A41BED8E613CD24BF3B06C1306E35B0ACA719D800D254E5930:!, deletedAt=1458176745556000, localDeletion=1458176745][FAE69193423616A41BED8E613CD24BF3BA2AE7FC8340F96CC440BDDFFBCBE7D0:_-FAE69193423616A41BED8E613CD24BF3BA2AE7FC8340F96CC440BDDFFBCBE7D0:!,
deletedAt=1458176745740000, localDeletion=1458176745][FAE69193423616A41BED8E613CD24BF3E5A681C7ECC09A93429CEE59A76DA131:_-FAE69193423616A41BED8E613CD24BF3E5A681C7ECC09A93429CEE59A76DA131:!,
deletedAt=1458792793219000, localDeletion=
и, наконец, это займет много времени, чтобы начать и бросает java.lang.OutOfMemoryError: Java heap space
Ниже приведен журнал ошибок:
ИНФОРМАЦИЯ 20:39:20 ConcurrentMarkSweep GC в 5859мс. CMS Old Gen: 6491794984 -> 6492437040; Par Eden Space: 1398145024 -> 1397906216; Par Survivor Space: 349072992 -> 336156096 ИНФОРМАЦИЯ 20:39:20 Вычисление сброса в refresh_token: 693 (0%) в куче, 0 (0%) в куче ИНФО 20:39:20 Имя пула Активно Ожидает Завершено Завершено Заблокировано все время Заблокированная ИНФОРМАЦИЯ 20:39:20 Вычисление сброса log_user_track: 7047 (0%) в куче, 0 (0%) вне кучи ИНФОРМАЦИЯ 20:39:20 CounterMutationStage 0 0 0 0 0 ИНФО 20:39:20 Вычисление сброса userinbox: 42819 (0%) в куче, 0 (0%) в куче INFO 20:39:20 Постановка сброса сообщений: 7954 (0%) в куче, 0 (0%) в куче INFO 20:39:20 ReadStage 0 0 0 0 0 INFO 20:39:20 RequestResponseStage 0 0 6 0 0 INFO 20:39:20 Вычисление сброса sstable_activity: 6567 (0%) в динамической памяти, 0 (0%) в динамической памяти INFO 20:39:20 ReadRepairStage 0 0 0 0 0 ИНФОРМАЦИЯ 20:39:20 Вычисление сброса сообщений: 2132 (0%) в куче, 0 (0%) вне кучи ИНФО 20:39:20 MutationStage 0 0 72300 0 0 ИНФОРМАЦИЯ 20:39:20 Постановка в очередь сброса sstable_activity: 1791 (0%) в куче, 0 (0%) в куче ИНФО 20:39:20 GossipStage 0 0 23655 0 0 ИНФО 20:39:20 Ставка в очередь log_user_track: 1165 (0%) в час eap, 0 (0%) INFO вне кучи 20:39:20 AntiEntropyStage 0 0 0 0 0 INFO 20:39:20 Создание очереди сброса sstable_activity: 2388 (0%) в куче, 0 (0%) вне кучи ИНФОРМАЦИЯ 20:39:20 CacheCleanupExecutor 0 0 0 0 0 java.lang.OutOfMemoryError: Пространство кучи Java Дампирование кучи в java_pid17155.hprof ...
Когда я бегу nodetool tpstats Я вижу, что задачи MemtableFlushWriter и MemtablePostFlush ожидают много.
Имя пула Активно Ожидает Завершено Заблокировано Все время заблокировано CounterMutationStage 0 0 0 0 0 ReadStage 0 0 0 0 0 RequestResponseStage 0 0 8 0 0 MutationStage 0 0 1382245 0 0 ReadRepairStage 0 0 0 0 0 GossipStage 0 0 23553 0 0 CacheCleanupExecutor 0 0 0 0 0 AntiEntropyStage 0 0 0 0 0 MigrationStage 0 0 0 0 0 ValidationExecutor 0 0 0 0 0 CommitLogArchiver 0 0 0 0 0 MiscStage 0 0 0 0 0 MemtableFlushWriter 4 7459 220 0 0 MemtableReclaimMemory 0 0 231 0 0 PendingRangeCalculator 0 0 3 0 0 MemtablePostFlush 1 7464 331 0 0 CompactionExecutor 3 3 269 0 0 InternalResponseStage 0 0 0 0 0 HintedHandoff 0 0 4 0 0