Описание тега amazon-kinesis-agent
0
ответов
Как отправить данные на пожарный шланг aws kinesis с помощью агента kinesis
Я пытаюсь отправить приведенные ниже данные на пожарный шланг aws kinesis с помощью агента kinesis: 3985199||"ER1AA"|"2017"|"BMC PUBLIC HEALTH"|"17"||"2017-04-09-00.53.55.353280 -0400"|0|"1471-2458"|"13941J"|"C,CC,D,ES,JS,Q,XC"|"A"|"N"|"APR 4 17" Я …
14 апр '17 в 05:19
0
ответов
Как KCL внутренне порождает новый RecordProcessor
У меня есть Java-потребитель (реализация KCL) для получения сообщений из 1 потока Kinesis с 2 шардами. KCL создает 2 RecordProcessors, соответствующих каждому фрагменту. Затем я уложил машину в режим ожидания, поэтому JVM приостановила работу. При п…
07 июн '18 в 17:48
0
ответов
Агент Kinesis не может разобрать файл
У меня есть файлы журналов (WEB1_access_log_20170913-154844.log). Но когда я настроил агента, он не смог разобрать ни одной записи. Вот часть журнала ошибок: 2017-09-18 16:32:13.122+0000 ip-172-31-32-44 (Agent STOPPING) com.amazon.kinesis.streaming.…
18 сен '17 в 16:38
0
ответов
Клиент Kinesis Java не может отправлять или получать сообщения с использованием SDK 2.0
Я написал https://docs.amazonaws.cn/en_us/streams/latest/dev/kcl2-standard-consumer-java-example.html чтобы написать простой клиент Java-кинесиса. Используемые учетные данные имеют полный доступ администратора. При выполнении кода появляется ошибка …
27 ноя '18 в 18:03
2
ответа
Агент Kinesis не запускается: вызвано: java.nio.file.AccessDeniedException
Я установил агент на Ubuntu 14.04... Раньше он работал нормально, но потом внезапно остановился и теперь получал следующую ошибку при запуске sudo service aws-kinesis-agent start * Starting aws-kinesis-agent [ OK ] 2016-07-10 18:46:40.373+0530 prod-…
10 июл '16 в 13:21
3
ответа
Загрузка из S3 в Redshift с помощью Kinesis
Я получаю исходные файлы в S3, мне нужно загрузить эти данные в красное смещение. Исходные файлы S3 заполняются через Kinesis Firehose. Источник: via Kinesis Webstreams -------------- > S3 Требование: via Kinesis Webstreams -------------- > S3…
22 май '17 в 17:44
1
ответ
Сбой установки агента Kinesis в докере на отсутствующих зеркалах
Я пытаюсь запустить докер-файл, который работал последние несколько месяцев, и со вчерашнего дня он начал выдавать ошибки при использовании его в новой версии того же продукта. Это мой dockerfile: FROM centos:7 MAINTAINER email@example.com # Install…
05 апр '17 в 09:00
2
ответа
Пример Kinesis Firehose Putrecordbatch
Я ищу пример для отправки нескольких записей в потоки Kinesis с помощью putrecordbatch. В настоящее время я использую команду putrecord следующим образом для отправки записей в потоки kinesis. aws firehose put-record --delivery-stream-name csvtoreds…
01 мар '17 в 17:33
1
ответ
Kinesis Firehose загружает данные CSV в Redshift
Я использую пожарный шланг Kinesis для обработки данных в красное смещение и пытаюсь использовать форматы Json и Csv. Формат Json прекрасно работает для меня, и данные загружаются в таблицу красного смещения. КОМАНДА КОПИРОВАНИЯ, ИСПОЛЬЗУЕМАЯ ДЛЯ JS…
28 фев '17 в 21:14
0
ответов
putMetricData не определен для типа AmazonCloudWatchClient
Я пытаюсь скомпилировать проект amazon-kinesis-agent локально и вижу ошибку компиляции: "Метод putMetricData(PutMetricDataRequest) не определен для типа AmazonCloudWatch". Если я изменю AmazonCloudWatch на AmazonCloudWatchClient, он все равно выдаст…
21 сен '17 в 22:11
0
ответов
Отправлено APACHEERRORLOG в Elasticsearch через агент амазон-кинезис
Мне удалось отправить свой Apache access_log (httpd / amazon-linux-ami 2016.09 / php5.6) на asticsearch через kinesis-agent и firehose. Сейчас я изо всех сил пытаюсь переслать error_log. мой agent.json: { "cloudwatch.emitMetrics": true, "kinesis.end…
17 фев '17 в 06:41
0
ответов
Как написать пожарный шланг Kinesis из нескольких потоков при высокой скорости приема пищи?
У меня более 50 серверов ec2, генерирующих 2 тыс. Событий в секунду из пакетов UDP. Как мне записать все эти данные в пожарный шланг Kinesis? Из документации я понимаю, что есть ограничение в 5000 транзакций в секунду. Со временем мои данные будут о…
21 авг '18 в 18:56
0
ответов
Потребитель KCL не обрабатывает записи
Я прошел через несколько вопросов и ТАК вопросов и не смог заставить работать пример приложения. Вот как это воспроизвести; git clone https://github.com/awslabs/amazon-kinesis-client-python.git cd amazon-kinesis-client-python # Start sample producer…
07 мар '18 в 12:57
1
ответ
Агент Kinesis не преобразует записи в JSON
Я использую агента Amazon Kinesis для привязки моих журналов веб-доступа nginx с целью передачи журнала доступа в Kinesis - в конечном счете, для использования в Kinesis Analytics. Агент работает и отслеживает мой журнал доступа, а затем отправляет …
09 сен '16 в 11:37
0
ответов
Kinesis Agent - Обработка исходных файлов JSON /XML
Мои входные файлы - XML или JSON, мне нужна была помощь в определении того, как настроить агент для их обработки? Таким образом, это многострочная запись с 1 объектом XML/JSON на входной файл. Предварительная обработка не требуется Что касается эт…
10 окт '16 в 11:54
1
ответ
Агент Kinesis не отправляет записи в Stream
Я создал поток Kinesis Firehose для передачи данных в красное смещение и пытаюсь передать данные из экземпляра EC2 с помощью агента Kinesis. Firehose Stream может анализировать записи, но не идентифицировать потоки пожарного шланга, которые получают…
02 мар '17 в 23:55
0
ответов
Amazon-Kinesis-Agent, как определить, какой у меня "classpath"?
У меня это работало около года назад, но, увы, я забыл, что установить для моего classpath. Я использую Amazon AMI и использую инструкцию./setup --build здесь: https://github.com/awslabs/amazon-kinesis-agent В результате получается.Jar с полным паке…
25 дек '17 в 22:51
0
ответов
Kinesis Agent сообщает об ошибке из данных потока Python
Я пытаюсь создать простой поток данных из кода Python, который добавляется в файл журнала, и загружать потоковые данные в кластер Redshift с помощью Kinesis Agent->Kinesis Firehose. Я подтверждаю, что код Python работает нормально, создает потоковые…
06 апр '18 в 09:52
1
ответ
Ввод агента Kinesis - файл журнала, созданный для каждого дня
Новый файл журнала создается для каждого дня с добавлением даты в имени. Например, файл журнала "data_log-2017-05-14" создан для 14 мая. Мне нужно настроить Kinesis Agent для чтения данных из сгенерированных журналов. Но поскольку каждый день создае…
19 май '17 в 11:33
0
ответов
Использование RTSP-сервера в Kinesis Video Stream
Я изучаю Amazon Kinesis и могу создать контейнер по ссылке https://docs.aws.amazon.com/kinesisvideostreams/latest/dg/examples-rtsp.html но мне нужен пример URL-адреса сервера RTSP, совместимого с вещь кинезиса, чтобы я мог проверить, все ли работает…
05 мар '19 в 07:51