Афина может видеть только первую запись JSON, написанную для Firehose Kinesis Analytics
Я использую Kinesis Analytics для чтения в формате JSON из Kinesis Firehose. Я успешно отфильтровываю некоторые записи и записываю подмножество свойств JSON в другой Firehose.
Я хотел выполнить запрос Athena относительно данных, записываемых в S3 через целевой Firehose. Однако записи JSON, записанные в файлы в S3, не имеют никаких новых строк. Следовательно, когда я запрашиваю данные с помощью Athena, он возвращает только первую запись в каждом файле.
Когда я записываю записи в исходный Firehose, я вручную вставляю новую строку между записями, но, похоже, Analytics не делает этого при записи в место назначения.
Есть ли способ заставить Analytics записывать разделитель или новую строку между записями, чтобы Афина могла видеть все записи?
1 ответ
Включение «Нового разделителя строк» в настройке «Назначение» потока доставки пожарного шланга решает проблему для меня.