python-kafka: возможно ли для потребителя пропускать сообщения на основе атрибутов сообщения?

Question

python-kafka: возможно ли для потребителя пропускать сообщения на основе атрибутов сообщения?

Дан набор сообщений, каждое с атрибутом приоритета. Возможно ли для потребителя пропускать или игнорировать сообщения, атрибут приоритета которых недостаточно высок?

Сначала я десериализировал сообщения, используемые потребителем kafka-python, проверил уровень приоритета и отбросил те сообщения, которые не соответствовали требуемому уровню приоритета.

Но я обеспокоен тем, что, если сообщение будет большим, значительное количество времени будет потрачено на десериализацию сообщений, которые не будут обрабатываться дальше. Нет ли способа сделать это после чтения из очереди kafka?

2

python apache-kafka kafka-python

Источник

user1658296 10 ноя '16 в 13:16

1 ответ

Решение

Другие вопросы по тегам python apache-kafka kafka-python

user1864133 10 ноя '16 в 14:00 2016-11-10 14:00 · Accepted Answer · 2016-11-10 14:00

В настоящее время Kafka не поддерживает настраиваемые метаданные таким образом, поэтому единственный способ для потребителя отфильтровать определенные сообщения - это прочитать полезные данные. Тем не менее, есть обсуждаемое предложение по улучшению, которое решило бы ситуацию такого рода и, возможно, заслуживает того, чтобы им следовать.