Описание тега amazon-kinesis-kpl
0
ответов
Связь между kinesis shardId и ключом раздела
Я создал поток кинезиса с 2 осколками. Чтобы проверить связь ключей раздела с Shards, я использовал putRecord с ключом раздела равным 0 и текущим временем в миллисекундах и распечатал запись в потребительском приложении с помощью shardId. Но shardId…
08 окт '17 в 10:32
1
ответ
Способ установить время отправки данных в Kinesis Analytics, например, каждые 5 минут
Я действительно смущен тем, как работает аналитика кинезиса и кинезиса. Мне нужно отправить некоторые данные в аналитику kenisis, а затем первые десять историй (данные) должны отправляться в лямбда-функцию каждые 5 минут. У меня есть поток Kinesis, …
09 янв '18 в 14:49
1
ответ
Ошибка библиотеки KPL AWS Kinesis Producer без сообщений об ошибках
Я запускаю KPL внутри dropwizard. Ниже мой код. AWSStaticCredentialsProvider credentialsProvider = new AWSStaticCredentialsProvider(new BasicAWSCredentials("XXXX", "XXXXXXXXXXXX")); kinesis = new KinesisProducer(new KinesisProducerConfiguration() .s…
14 ноя '17 в 13:57
0
ответов
Использование библиотеки производителя Kinesis в Spark
У меня Spark Job читает миллионы записей с Кассандры, отфильтровывает (бизнес-правила) и пишет в поток Kinesis. Я не нашел ни одного примера и отзыва о том, как вызвать KPL(Kinesis Producer Library) из Spark. Это правильный подход? У меня есть друго…
03 янв '19 в 22:42
1
ответ
Поведение AWS Kinesis KPL, когда входящие данные превышают пропускную способность
Предположим, у меня есть один поток Кинезис с осколками, который позволяет входить 1 Мбит / с. У меня есть производитель, использующий KPL, который пытается накачать 2MBps (используя асинхронный вызов KPL). Учитывая поведение KPL при повторных попыт…
21 фев '18 в 20:30
2
ответа
Как AWS Kinesis дроссельной записи записывает пропускную способность?
AWS Kinesis имеет довольно низкую пропускную способность записи - 1000 записей в секунду и 1 МБ / записи в секунду. Как Kinesis обеспечивает соблюдение этого ограничения? Если бы я попытался сделать 1500 записей в секунду, дополнительные 500 записей…
18 июн '18 в 17:06
0
ответов
Импорт модуля Python службы Amazon Kinesis Streaminb не работает
Я написал код на Python для потоковой передачи сервисов от производителя к потребителю на Amazon AWS Kinesis. У меня есть класс под названием услуги парения. Где я взял многопоточность других классов и функций для различных служб. У меня есть сервис…
15 окт '18 в 06:09
3
ответа
Загрузка из S3 в Redshift с помощью Kinesis
Я получаю исходные файлы в S3, мне нужно загрузить эти данные в красное смещение. Исходные файлы S3 заполняются через Kinesis Firehose. Источник: via Kinesis Webstreams -------------- > S3 Требование: via Kinesis Webstreams -------------- > S3…
22 май '17 в 17:44
0
ответов
Невозможно заставить скользящее и падающее окно работать в aws kenisis analytics
Я использую аналитическое приложение Kinesis и передаю данные в пункт назначения, скажем, пока лямбда. Мне нужно отправлять данные за последний час в лямбду каждые 1 минуту. Поэтому мне кажется, что это комбинация переворачивающегося и скользящего о…
08 фев '18 в 16:29
0
ответов
Как контролировать количество записей в клиентской библиотеке Kinesis
Я пытаюсь контролировать количество записей, выбранных в методе processRecords KCL, вот моя конфигурация KCL new KinesisClientLibConfiguration( config.getApplicationName(), config.getStreamName(), awsCredentialsProvider, workerId) .withInitialPositi…
08 апр '18 в 16:20
0
ответов
Как подключить Kinesis локальный поток в Java?
Я запустил локальный кинесис с помощью команды ниже kinesalite --port 4567 Но я не могу читать из потока или писать в поток. Вот мой код для написания: public static void writeToLocalStream(String message) { String streamName="testStream"; AWSCreden…
29 ноя '18 в 11:00
1
ответ
Не удалось получить "Обновление карты шарда для потока xxx" с помощью Amazon KPL: (AWSErrorMarshaller) Обнаружено неизвестное AWSError
Я пытаюсь написать в Amazon Kinesis Firehose, используя библиотеку KPL. Несмотря на все мои усилия, каждая попытка подключиться и записать в библиотеку приводит к следующим строкам журнала: 2018-09-11 15:23:12.369 INFO 79765 --- [kpl-daemon-0003] c.…
11 сен '18 в 22:35
0
ответов
Производитель Kinesis, вставляющий один осколок, и потребитель получают дубликаты от других осколков.
Мой Kinesis Producer со случайным ключом раздела помещает запись в shard0. Я ожидаю прочитать это от осколка 0 в моем потребителе. Я наблюдаю, что для некоторых записей это не так: Идеальный сценарий: положить в 000000000002 и прочитать из 000000000…
13 фев '19 в 07:46
2
ответа
Пример Kinesis Firehose Putrecordbatch
Я ищу пример для отправки нескольких записей в потоки Kinesis с помощью putrecordbatch. В настоящее время я использую команду putrecord следующим образом для отправки записей в потоки kinesis. aws firehose put-record --delivery-stream-name csvtoreds…
01 мар '17 в 17:33
1
ответ
Kinesis Firehose загружает данные CSV в Redshift
Я использую пожарный шланг Kinesis для обработки данных в красное смещение и пытаюсь использовать форматы Json и Csv. Формат Json прекрасно работает для меня, и данные загружаются в таблицу красного смещения. КОМАНДА КОПИРОВАНИЯ, ИСПОЛЬЗУЕМАЯ ДЛЯ JS…
28 фев '17 в 21:14
3
ответа
Вызовите REST API для Amazon Kinesis с настройкой API Gateway
Я пытаюсь отправить HTTP-запрос на отправку записи в Amazon Kinesis Stream. Есть несколько способов (Kinesis Client, KPL, настройка AWS Gateway в качестве Kinesis Proxy). Я видел этот документ об API Kinesis PutRecord http://docs.aws.amazon.com/kine…
09 окт '16 в 02:01
0
ответов
Как написать пожарный шланг Kinesis из нескольких потоков при высокой скорости приема пищи?
У меня более 50 серверов ec2, генерирующих 2 тыс. Событий в секунду из пакетов UDP. Как мне записать все эти данные в пожарный шланг Kinesis? Из документации я понимаю, что есть ограничение в 5000 транзакций в секунду. Со временем мои данные будут о…
21 авг '18 в 18:56
0
ответов
Асинхронный Kinesis Producer с использованием Python
У меня есть сценарий использования для вставки нескольких записей каждые 5 минут в поток данных Kinesis. Я буду создавать рабочий процесс, который будет выполняться каждые 5 минут. В этом рабочем процессе будет моя работа по вставке нескольких сообщ…
21 фев '19 в 07:34
1
ответ
Невозможно прочитать данные из потоковой передачи искры, подключив Kinesis
Ниже я написал код для подключения к кинезису от искровой потоковой передачи, но данные не были получены. val kinesisStream = KinesisUtils.createStream (ssc, appName, streamName, endpointUrl, regionName, InitialPositionInStream.LATEST, batchInterval…
01 дек '16 в 16:58
0
ответов
Есть ли способ открыть постоянный TCP с удаленного сервера в поток данных AWS Kinesis?
Я до сих пор не уверен в этом, но планирую посмотреть, смогу ли я открыть постоянное соединение с AWS Kinesis Data Stream из удаленного приложения. Я проверил образцы с помощью API Kineses и смог увидеть такую опцию, доступную для потребителей. Но…
09 янв '19 в 16:20