Производитель Kinesis, вставляющий один осколок, и потребитель получают дубликаты от других осколков.
Мой Kinesis Producer со случайным ключом раздела помещает запись в shard0. Я ожидаю прочитать это от осколка 0 в моем потребителе.
Я наблюдаю, что для некоторых записей это не так:
Идеальный сценарий: положить в 000000000002 и прочитать из 000000000002
2019-02-12 11:18:52.278 INFO 10152 --- [TaskExecutor-60] c.i.i.e.kinesis.KinesisProducer : Put Result={ShardId: shardId-000000000002,SequenceNumber: 49592292474998443170974666693116643662109230963259080738,}
Shard: shardId-000000000002, PartitionKey: partitionKey-MTALK__22a5e920-014f-45b0-8d27-aa3f511d3738, SequenceNumber: 49592292474998443170974666693116643662109230963259080738
Наблюдаемый: положить в 000000000000 и прочитать из 000000000002
Shard: shardId-000000000002, PartitionKey: partitionKey-MTALK__09241131-5f81-44fc-852f-7f6483b5e18b, SequenceNumber: 49592292458897305137635556784925437217617884560152854530
Кроме того, несмотря на правильную контрольную точку и Trim Horizon, я вижу, что при перезапуске потребителя те же сообщения потребляются снова - с ОДНИМ КЛЮЧОМ РАЗДЕЛА ОТ РАЗЛИЧНЫХ ЧАСТЕЙ и ЖЕ НОМЕР ПОСЛЕДОВАТЕЛЬНОСТИ.
Put Result={ShardId: shardId-000000000003,SequenceNumber: 49592278123331569911393613339504152562720511055896772658,}
Consumed as:
Shard: shardId-000000000002, PartitionKey: partitionKey-MTALK__3f1caefc-e072-4854-8cb8-f42af2cb67e2, SequenceNumber: 49592278123331569911393613339504152562720511055896772658
Shard: shardId-000000000003, PartitionKey: partitionKey-MTALK__3f1caefc-e072-4854-8cb8-f42af2cb67e2, SequenceNumber: 49592278123331569911393613339504152562720511055896772658
Shard: shardId-000000000003, PartitionKey: partitionKey-MTALK__3f1caefc-e072-4854-8cb8-f42af2cb67e2, SequenceNumber: 49592278123331569911393613339504152562720511055896772658
- Как может осколок переключаться?
- Как тот же ключ раздела может изменить шард, если это MD5 и по модулю
- Почему дублирующее сообщение приходит несмотря на контрольную точку