Описание тега amazon-kcl
Клиентская библиотека Amazon Kinesis (KCL) помогает получать и обрабатывать данные из потока Amazon Kinesis. Этот тип приложения также называется потребителем.
2
ответа
Ошибка: не удалось найти или загрузить основной класс com.amazonaws.services.kinesis.multilang.MultiLangDaemon
В чем проблема?? Я следую этому уроку, чтобы запустить Amazon Kinesis. https://github.com/awslabs/amazon-kinesis-client-python я следую до последнего шага, который даст мне командную строку. это моя командная строка c:\Program Files\Java\jdk1.7.0_79…
27 янв '16 в 05:14
1
ответ
Балансировка нагрузки и масштабирование в приложении на базе Kinesis Client Library (KCL)
Я использую https://github.com/awslabs/amazon-kinesis-connectors для создания клиентского приложения Kinesis. Я выясняю несколько вещей об этом. Как KCL обеспечивает балансировку нагрузки и масштабирование. например, у меня есть поток с одним осколк…
05 фев '18 в 08:48
0
ответов
Как KCL внутренне порождает новый RecordProcessor
У меня есть Java-потребитель (реализация KCL) для получения сообщений из 1 потока Kinesis с 2 шардами. KCL создает 2 RecordProcessors, соответствующих каждому фрагменту. Затем я уложил машину в режим ожидания, поэтому JVM приостановила работу. При п…
07 июн '18 в 17:48
1
ответ
Как с этим справиться, когда в AWS KCL произошел сбой processRecords?
Я создаю приложение с nodejs на основе KCL. в processRecords Я попытался отправить записи, полученные из кинесиса, в веб-сервис с запросом http. Но когда веб-сервис недоступен, http-запрос не будет выполнен. Я хочу, чтобы KCL прекратил получать запи…
21 июн '16 в 13:49
1
ответ
Дамп Kinesis Client Library (KCL) журналы в файл
Я использую Kinesis Client Library (KCL), чтобы подписаться на поток Kinesis. Все журналы KCL напечатаны на консоли. Мне нужно сбросить все журналы в файл. Я попытался добавить файлы log4j.properties и common-logging.properties в папку src, но не см…
25 фев '16 в 05:53
1
ответ
aws Библиотека KCL(Kinesis Client Library) выдает ошибки при сборке
Я перехожу по этой ссылке, чтобы запустить amazon KCL, Kinesis Client Library, потому что мне нужно использовать nodeJ. Я сделал следующие шаги: https://github.com/awslabs/amazon-kinesis-client Но когда я запускаю mvn clean install -Dgpg.skip=true, …
09 фев '19 в 07:33
1
ответ
Поддержание порядка с помощью Amazon Kinesis со скоростью не менее 1000 сообщений в секунду
Я пытаюсь отправить тысячи сообщений в последовательности, используя Amazon Kinesis, но сообщения, получаемые пользователем Kinesis, не в последовательности. Вещи, которые я пробовал: Используемый putRecord() метод для отправки с SequenceNumberForOr…
01 авг '17 в 13:42
1
ответ
Контрольно-пропускной пункт AWS Kinesis Stream
У меня есть приложение, которое может обрабатывать дубликаты записей потока Kinesis. Мы рассматриваем подходы, которые мы могли бы использовать в отношении обработки сбоев. И был поднят следующий подход: Если исключение обнаружено во время processRe…
15 окт '18 в 21:44
3
ответа
Amazon KCL Checkpoint и Trim Horizon
Как связаны контрольные точки и обрезка в библиотеке AWS KCL? Страница документации Обработка запуска, выключения и регулирования говорит: По умолчанию KCL начинает читать записи из кончика потока; это самая последняя добавленная запись. В этой конф…
23 июл '16 в 16:49
4
ответа
TRIM_HORIZON против ПОСЛЕДНЕГО
Я не могу найти в формальной документации AWS Kinesis любая явная ссылка между TRIM_HORIZON и контрольно-пропускной пункт, а также любые ссылки между LATEST и контрольно-пропускной пункт. Можете ли вы подтвердить мою теорию: TRIM_HORIZON - Если имя …
09 апр '18 в 08:41
1
ответ
Что является "требованием" для KCL в потребительском приложении NodeJS?
Я читаю документы по KCL (клиентская библиотека Kinesis AWS) и, если я правильно понимаю, мне нужно установить сам KCL (Java), и тогда мое потребительское приложение NodeJS сможет получить к нему доступ. Прежде всего, это правильно? Если это так, ме…
12 июл '17 в 01:05
1
ответ
Как работать со сценариями переработки в AWS Kinesis?
Я изучаю AWS Kinesis для требования к обработке данных, которое заменяет старую пакетную обработку ETL потоковым подходом. Одним из ключевых требований для этого проекта является возможность повторной обработки данных в случаях, когда Ошибка обнаруж…
16 фев '18 в 09:31
0
ответов
Можно ли читать поток Kinesis по требованию без задержки
У меня есть следующий вариант использования У меня есть поток кинезис, имеющий пользовательские данные. Я хочу прочитать поток кинезис на основе действий пользователя. Фильтрация записей на основе пользовательского ввода, продолжайте фильтрацию в те…
23 сен '18 в 06:55
1
ответ
Как я могу измерить задержку распространения потоков DynamoDB?
Я использую DynamoDB Streams + Kinesis Client Library (KCL). Как я могу измерить задержку между тем, когда событие было создано в потоке и когда оно было обработано на стороне KCL? Как я знаю, KCL's MillisBehindLatest метрика специфична для потоков …
14 окт '16 в 15:24
0
ответов
Как контролировать количество записей в клиентской библиотеке Kinesis
Я пытаюсь контролировать количество записей, выбранных в методе processRecords KCL, вот моя конфигурация KCL new KinesisClientLibConfiguration( config.getApplicationName(), config.getStreamName(), awsCredentialsProvider, workerId) .withInitialPositi…
08 апр '18 в 16:20
0
ответов
Как изменить потребительские свойства кинезиса в искровом потоке
Вот документация KinesisReceiver. Здесь используются все значения по умолчанию KinesisClientLibConfiguration. Есть ли способ изменить значения по умолчанию, используя файл свойств в приложении Stream Streaming?
08 фев '17 в 07:23
1
ответ
Как использовать requestShutdown и shutdown для корректного завершения работы в случае библиотеки KCL Java для AWS Kinesis
Я пытаюсь использовать новую функцию библиотеки KCL в Java для AWS Kinesis, чтобы выполнить постепенное выключение, зарегистрировавшись с помощью ловушки shutdown, чтобы остановить все процессоры записи, а затем грациозно работника. Новая библиотека…
22 фев '17 в 01:48
1
ответ
Как использовать ExplicitHashKey для назначения кругового потока в AWS Kinesis
Я пытаюсь прокачать много данных через Amazon Kinesis (порядка 10000 точек в секунду). Чтобы максимизировать количество записей в секунду через мои сегменты, я бы хотел округлять свои запросы над фрагментами (моей логике приложения не имеет значения…
16 июн '17 в 16:03
2
ответа
Кинезис получает данные от нескольких осколков
Я пытаюсь создать простое приложение, которое считывает данные из AWS Kinesis. Мне удалось прочитать данные с помощью одного шарда, но я хочу получить данные от 4 разных шардов. Проблема в том, что у меня есть цикл while, который повторяется до тех …
11 май '16 в 12:35
1
ответ
Есть ли способ прочитать из БД Dynamo поток с фиксированным количеством рабочих и аренды без каких-либо проблем
Я постоянно публикую данные в DynamoDB, в котором включен поток. Я читаю этот поток, используя DynamoDB apadter KCL. Я использую 1 KCL работника с 5 аренды. На момент создания моя таблица Динамо имела 1 раздел (1 RCU и 999WCU). Когда я продолжаю пуб…
10 июн '18 в 19:20