Описание тега amazon-kinesis-firehose
Amazon Kinesis Firehose - это полностью управляемый сервис для доставки потоковых данных в реальном времени по назначению.
1
ответ
Потоковая передача данных из одного потока Kinesis в несколько таблиц в Redshift
У меня есть данные, поступающие в потоки Kinesis от разных производителей. Данные должны быть преобразованы в несколько разных таблиц в зависимости от типа этих данных. Я пытаюсь прочитать лямбду из Kinesis Streams, преобразовать данные в разные таб…
14 сен '17 в 19:09
0
ответов
Как отправить данные на пожарный шланг aws kinesis с помощью агента kinesis
Я пытаюсь отправить приведенные ниже данные на пожарный шланг aws kinesis с помощью агента kinesis: 3985199||"ER1AA"|"2017"|"BMC PUBLIC HEALTH"|"17"||"2017-04-09-00.53.55.353280 -0400"|0|"1471-2458"|"13941J"|"C,CC,D,ES,JS,Q,XC"|"A"|"N"|"APR 4 17" Я …
14 апр '17 в 05:19
0
ответов
Данные не вставляются из пожарного шланга AWS Kinesis Data Stream в Elasticsearch
Я пытаюсь собрать журналы сервера из EC2 с агентом AWS Kinesis в Kinesis Data Stream и Firehose, и хранение необработанных данных в S3 идет хорошо, но это не помогает отправке в Elasticsearch Service для индексации данных после небольшой обработки с…
17 янв '19 в 02:59
1
ответ
AWSFirehoseRecorder saveRecord, кажется, никогда не сохраняет никаких записей
В приложении сделал FinishLaunchingWithOptions let credentialProvider = AWSCognitoCredentialsProvider(regionType: .USEast1, identityPoolId: "my-identity-pool-id") let configuration = AWSServiceConfiguration(region: .USEast1, credentialsProvider: cre…
12 янв '18 в 06:32
1
ответ
Есть ли в любом случае для записи данных в несколько таблиц красного смещения с использованием единого потока доставки пожарного шланга
Я передаю некоторые данные JSON в поток доставки, который в итоге сохраняется в таблице Redshift. Для моего случая использования я хочу, чтобы данные были сохранены в разных таблицах. Могу ли я создать разные потоки доставки для разных таблиц? Если …
27 апр '16 в 06:25
2
ответа
Конкатенация файлов в S3 с использованием AWS Lambda
Есть ли способ использовать Lambda для конкатенации файлов S3? У меня есть Firehose для потоковой передачи данных в S3 с самым длинным возможным интервалом (15 минут или 128 МБ), и поэтому у меня ежедневно 96 файлов данных, но я хочу объединить все …
21 сен '16 в 08:01
1
ответ
Буферизация AWS Firehose
При записи записей в пожарный шланг AWS, для которого настроено S3 в качестве места назначения вывода, как долго эти данные буферизуются, прежде чем они будут записаны в S3? Или есть минимальный размер порога? Например, я делаю следующее, чтобы доба…
30 июн '17 в 14:14
2
ответа
Распределение данных AWS Kinesis Firehose по s3 по полезной нагрузке
Я использую AWS-Kinesis-Firehose для передачи данных на S3, а затем использую их для Athena. Я пытаюсь анализировать события из разных игр, чтобы Афина не исследовала много данных. Я хотел бы разделить данные s3 с помощью идентификатора для каждой и…
01 авг '17 в 08:05
1
ответ
Способ установить время отправки данных в Kinesis Analytics, например, каждые 5 минут
Я действительно смущен тем, как работает аналитика кинезиса и кинезиса. Мне нужно отправить некоторые данные в аналитику kenisis, а затем первые десять историй (данные) должны отправляться в лямбда-функцию каждые 5 минут. У меня есть поток Kinesis, …
09 янв '18 в 14:49
2
ответа
Как выполнить загрузку в режиме реального времени в Amazon Redshift?
Мы оцениваем Amazon Redshift для хранения данных в реальном времени. Данные будут передаваться и обрабатываться через службу Java, и они должны храниться в базе данных. Мы обрабатываем строку за строкой (в режиме реального времени), и мы будем встав…
14 янв '17 в 19:15
1
ответ
Не могу скопировать JSON - Динамо БД Потоки в красное смещение
Ниже приведен пример использования, над которым я работаю: я настроил enable Streams при создании DynamoDB с new and old Image.Я создал Kinesis Firehose delivery stream с назначением как Redshift(Intermediate s3). Из Dynamodb мой поток достигает Fir…
29 авг '18 в 07:30
2
ответа
AWS Kinesis- время первого события для каждого устройства
У нас есть мобильная игра, которая отправляет события на наш сервер. Затем мы пишем в Kinesis Firehose (который пишет в s3), используя Kinesis Agent. Одним из полей является device_id. Мы хотим иметь таблицу в DynamodB, в которой для каждого device_…
03 сен '18 в 07:35
1
ответ
Афина может видеть только первую запись JSON, написанную для Firehose Kinesis Analytics
Я использую Kinesis Analytics для чтения в формате JSON из Kinesis Firehose. Я успешно отфильтровываю некоторые записи и записываю подмножество свойств JSON в другой Firehose. Я хотел выполнить запрос Athena относительно данных, записываемых в S3 че…
06 окт '17 в 12:34
2
ответа
Индексировать данные для нескольких индексов, используя один пожарный шланг
Я пытаюсь понять, возможно ли индексировать данные в asticsearch с помощью kinesis firehose для нескольких индексов, передавая ему имя и тип индекса (аналогично elasticsaerch bulk api) Документация AWS ( здесь) гласит: .... Кроме того, опция rest.ac…
24 янв '18 в 09:47
1
ответ
Монитор Cloudwatch для ошибок Stl_Load_Errors
Мы используем Kinesis Firehose для загрузки данных в несколько таблиц Redshift. Для просмотра успешных поставок доступны мониторы. Тем не менее, нет монитора для проверки наличия ошибок в доставке - те, которые записываются в таблицу stl_load_errors…
30 май '17 в 16:40
1
ответ
Как отфильтровать многострочные данные JSON из таблицы AWS Hive?
У меня есть правило AWS IoT, которое отправляет входящий JSON в Kinesis Firehose. Данные JSON из моей публикации IoT находятся в одной строке, например: {"count":4950, "dateTime8601": "2017-03-09T17:15:28.314Z"} Раздел "Проверка" IoT в пользовательс…
09 мар '17 в 22:53
2
ответа
Stop Kinesis Firehose доставка в красное смещение
У меня есть этот поток доставки Kinesis Firehose на s3 и красное смещение. Хотя я хочу продолжать помещать данные в s3, но я хочу временно прекратить отправку данных в красное смещение. Одна хитрость - изменить имя таблицы базы данных. Но это не оче…
19 дек '17 в 20:32
2
ответа
Отображение шаблона тела ответа шлюза AWS API (foreach)
Я пытаюсь сохранить данные в S3 через пожарный шланг, проксированный через API-шлюз. Я создал конечную точку шлюза API, которая использует тип интеграции службы AWS и действие PutRecord для пожарного шланга. У меня есть шаблон отображения как { "Del…
20 фев '18 в 19:56
4
ответа
Можно ли автоматически добавлять новые строки в записи AWS Firehose?
Я пытаюсь настроить приложение Kinesis Analytics со следующими параметрами: Входным потоком является Kinesis Firehose, который принимает строковые значения JSON SQL является простым проходом (позже он должен быть более сложным, но для тестирования о…
29 май '17 в 16:01
1
ответ
Настройка доступа на запись s3, принадлежащего одной учетной записи aws, к файлу пожарного шланга, принадлежащему другой учетной записи aws
Я настроил один поток Kinesis Firehose под учетной записью A. Согласно нашему требованию, этот поток должен записывать данные в корзину s3, принадлежащую другой учетной записи aws B, что включает: Это ведро s3 должно быть выпадающим в соответствующи…
04 июн '18 в 05:21