Описание тега amazon-kinesis

Amazon Kinesis - это полностью управляемый сервис для обработки потоковых данных в большом масштабе в реальном времени.
0 ответов

REST потоковый сервис интеграции с AWS

У меня есть вопрос об интеграции облака в облако. Я использую AWS в качестве основного бэкэнда, но также хотел бы подключить другие сервисы, такие как Nest, Ecobee и SmartThings. Я смотрю на Nest и вижу, что они предлагают потоковые API, но мне было…
1 ответ

Потоковая передача данных из одного потока Kinesis в несколько таблиц в Redshift

У меня есть данные, поступающие в потоки Kinesis от разных производителей. Данные должны быть преобразованы в несколько разных таблиц в зависимости от типа этих данных. Я пытаюсь прочитать лямбду из Kinesis Streams, преобразовать данные в разные таб…
1 ответ

Как сохранить статистические данные за последний день / неделю / месяц / год в потоке данных?

Каков наилучший способ хранения данных таким образом, чтобы я мог получать ответы на запросы в режиме реального времени, такие как "подсчет последних 2 недель неудачных транзакций", "подсчет учетных записей, созданных за последние 2 года". Подсчет к…
1 ответ

Насколько точной является запись ApproximateArrivalTimestamp в записи Amazon Kinesis?

В прошлом году AWS анонсировала временную метку на стороне сервера для записей Kinesis. Насколько точна эта метка времени?
1 ответ

Осколок [shardId-000000000000] не закрыт. Это может произойти, если мы создали список фрагментов во время выполнения операции повторного анализа.

Я получаю эту ошибку при получении данных из Amazon Kinesis Stream. Я делаю ниже шаги создание амазонки кинезис Steam положить данные с помощью putRecord API AmazonKinesisClient, Затем с помощью библиотеки Worker Of KCL получить данные из потока.
14 дек '14 в 15:12
0 ответов

Как заполнить временные окна без данных в аналитике Kinesis

Есть ли способ запустить анализ кинезиса, когда нет данных, поступающих в поток? Как периодический прогон, несмотря на наличие данных или нет? У меня есть поток данных от датчика, который выглядит следующим образом: [ { "timestamp": "2011/09/01 22:3…
1 ответ

Проверка с помощью Spring AWS Integration

Согласно примечаниям к выпуску Spring, spring-integration-aws.1.1.0.M1 не включает реализацию DynamoDB MetaDataStore. Все еще ConcurrentMetadataStore Класс, который является хранилищем, основанным на значениях ключей и основанным на реализации, я пр…
0 ответов

Строки не добавляются в аналитику AWS Kinesis Поток SQL в приложении из потока данных Kinesis

Я записываю данные в поток Kinesis при вызове dynamoDBTrigger, Этот поток настраивается как входной поток для приложения аналитики Kinesis. У меня есть лямбда-препроцессор, настроенный на потоке kinesis, который записывает данные, записанные в поток…
24 авг '18 в 06:21
0 ответов

Как получить исторические данные датчика IoT AWS

Я хочу получить исторические данные моих датчиков IoT AWS, механизм правил может предоставить мне данные времени выполнения, но не исторические. Не могли бы вы помочь мне понять, где хранятся данные AWS IoT и как их получить. Спасибо,
0 ответов

Ошибка Scala чтения потока данных AWS Kinesis из Spark (java.lang.NoSuchMethodError)

Я использую следующий код для создания потока данных, но когда я отправляю код, я получаю NoSuchMethodError для KinesisUtils. // AWS KINESIS val endPoint = "https://kinesis.us-east-1.amazonaws.com" val streamName = "PRICESIZE_REALTIME_STAGING" val c…
1 ответ

Как использовать Kinesis с Log4J Baigaizeva

Я хотел бы использовать Amazon Kinesis с Log4J. У кого-нибудь есть пример кода, на который я могу сослаться?
04 мар '14 в 15:21
1 ответ

AWS Kinesis Analytics - проблема со схемой журнала доступа Apache

Я пытаюсь использовать Kinesis Analytics поверх журнала доступа Apache. Я использую пользовательский формат, который имеет код графства (используя модуль Geoip). Но это не обнаружение схемы должным образом. Формат журнала: LogFormat "%{GEOIP_COUNTRY…
2 ответа

Spark Streaming Kinesis Integration: Ошибка при инициализации LeaseCoordinator в Worker

У меня были некоторые проблемы при запуске простой ванильной потоковой передачи с приложением Kinesis в Scala. Я придерживался основных указаний в некоторых руководствах, таких как Snowplow и WordCountASL. Но я все еще не могу заставить его работать…
1 ответ

Заголовок авторизации для шлюза Kinesis Proxy AWS API с пользовательским доменом

Если для доступа к API добавлен прокси-API Kinesis с использованием API-шлюза и пользовательский домен ( http://mycustomkinesis.foo.com/stream/events), как я могу отправить заголовок авторизации в HTTP-запросе POST на указанный выше URI?Я смог проте…
1 ответ

AWS API подписал POST-запрос с помощью Javascript

Что я пытаюсь сделать: В конечном итоге: я хочу заполнить поток AWS Kinesis из расширения браузера (Safari, Chrome). Мне нужно отправить запрос в AWS с помощью процесса подписи (v4); это включает установку заголовков и их шифрование (на удаленном се…
1 ответ

Avro ByteBuffer.allocate java.lang.IllegalArgumentException: null

Я пытаюсь отправить данные через поток Kinesis в формате Avro. Но я столкнулся с проблемой - IllegalArgumentException происходил все время, вот мой код: user.avsc { "doc": "User schema", "namespace": "avro", "type": "record", "name": "User", "fields…
23 май '18 в 19:52
0 ответов

Данные не вставляются из пожарного шланга AWS Kinesis Data Stream в Elasticsearch

Я пытаюсь собрать журналы сервера из EC2 с агентом AWS Kinesis в Kinesis Data Stream и Firehose, и хранение необработанных данных в S3 идет хорошо, но это не помогает отправке в Elasticsearch Service для индексации данных после небольшой обработки с…
1 ответ

aws cli get media command

Я пытаюсь использовать amazon cli для получения медиа из активного потока кинезиса. команда, которую я пытаюсь это: aws kinesis-video-media get-media --stream-name testStream --start-selector '{ "StartSelectorType":"NOW" }' --endpoint-url 'https://&…
17 авг '18 в 08:26
1 ответ

FluentD AWS плагин Kinesis не ставит записи для Kinesis

Я пытался выяснить, является ли FluentD жизнеспособным способом для моей компании отправлять данные в Kinesis через. Я установил FLuentD с помощью rd-пакета td-agent на экземпляре Amazon EC2. Существует не так много параметров для отправки данных, п…
12 авг '15 в 15:22
1 ответ

Как я могу получить доступ к текущим, а не испущенным данным, пока Kinesis Analytics обрабатывает падающие временные окна

С AWS Kinesis Analytics я могу легко объединять потоки в блоки времени без использования сервера. По требованию я хочу иметь возможность показывать данные в режиме реального времени, включая данные, которые все еще агрегируются. Как бы я это сделал?…
04 мар '18 в 19:34