Агент Kinesis не отправляет записи в Stream

Question

Я создал поток Kinesis Firehose для передачи данных в красное смещение и пытаюсь передать данные из экземпляра EC2 с помощью агента Kinesis.

Firehose Stream может анализировать записи, но не идентифицировать потоки пожарного шланга, которые получают следующую ошибку Java.

com.amazon.kinesis.streaming.agent.tailing.AsyncPublisher 
[ERROR] AsyncPublisher[kinesis:csvtoredshiftstream:/tmp/redshift.log*]:RecordBuffer
(id=2,records=2,bytes=45) Retriable send error (com.amazonaws.services.kinesis.model.ResourceNotFoundException: 
Stream csvtoredshiftstream under account xyz not found. 
(Service: AmazonKinesis; Status Code: 400; 
Error Code: ResourceNotFoundException; 
Request ID: f4a63623-9a15-b2f8-a597-13b478c81bbc)). Will retry.

Request your pointers to identify and resolve the issue.

С уважением, Сривиньеш К.Н.

Answer 1

Спасибо @peter,

1. Я смог преодолеть ошибку, указав входные данные в agent.json следующим образом для событий пожарного шланга. { "cloudwatch.emitMetrics": true, "kinesis.endpoint": "", "firehose.endpoint": "firehose.us-west-2.amazonaws.com", "flow ": [{" filePattern ":" / tmp / s3streaming."," deliveryStream ":" S3TestingStream "," partitionKeyOption ":" RANDOM "}, {" filePattern ":" /tmp/app.log"," deliveryStream ":" yourdeliverystream "}]} -

2. Кроме того, чтобы потоки Kinesis работали должным образом, сегмент S3 также необходимо создать в том же регионе, что и потоки.

Если поток создан в регионе Запад-2, сегмент S3 также должен быть создан в том же регионе.

Спасибо и С уважением, Шривиньеш К.Н.