Как просмотреть таблицу каталога данных в S3, используя спектр красного смещения

Question

Я создал внешнюю схему для своей базы данных в AWS Glue. Я вижу список таблиц, но не могу посмотреть данные json. красное смещение бросает мне эту ошибку.

[Amazon](500310) Invalid operation: S3 Query Exception (Fetch)
Details: 
 -----------------------------------------------
  error:  S3 Query Exception (Fetch)
  code:      15001
  context:   Task failed due to an internal error. Error occured during Ion/JSON extractor match: IERR_INVALID_SYNTAX

  query:     250284
  location:  dory_util.cpp:717
  process:   query2_124_250284 [pid=12336]
  -----------------------------------------------;
1 statement failed.

Я не хочу создавать внешние таблицы, потому что я создам представление, объединяющее внешние таблицы в каталоге данных в клей AWS.

Просто обновление:

Я использовал aws glue crawler при создании таблиц в каталоге данных. Они в формате JSON. Если я использую задание, которое будет загружать эти данные в красное смещение, они загружаются в виде плоского файла (кроме массивов) в таблицу красного смещения.

Пример данных JSON:

{
  "array": [
    1,
    2,
    3
  ],
  "boolean": true,
  "null": null,
  "number": 123,
  "object": {
    "a": "b",
    "c": "d",
    "e": "f"
  },
  "string": "Hello World"
}

Если я загружу их с помощью задания в AWS Glue, результат будет похож (как на таблицу)

увидеть изображение

Теперь у меня есть огромное количество таблиц, просканированных в каталоге данных. Я изо всех сил пытаюсь создать индивидуальный сценарий этих таблиц, поэтому внешняя схема спектра красного смещения амазонки может быть полезна.

Однако, когда я запрашиваю внешнюю таблицу во внешней схеме, я получаю сообщение об ошибке, как указано выше. У меня не возникает проблем с внешними таблицами из каталога данных, если они загружаются как csv, но файлы формата, которые мне нужно прочитать в спектре красного смещения, должны быть в формате json.

Можно ли просматривать внешнюю таблицу в спектре красного смещения в том же формате, когда она загружается с помощью задания?

Answer 1

Бени,
Ошибки, выдаваемые RedShift Spectrum, не всегда могут быть точными. Я могу только подтвердить, что запросы с JSON должны работать аналогично другим форматам данных. Кстати, внешняя таблица должна быть исправлена ​​через клиент SQL в базе данных спектра.

Итак, я предложу отослать это и это, чтобы рассмотреть ваши шаги