Описание тега aws-lake-formation
1
ответ
AWS Lake Formation: grant_permissions: Неизвестный параметр в Resource.Table: "TableWildcard"
Попытка предоставить права доступа к озеру с помощью лямбда-функции. (Python 3.8) Насколько я понимаю, у меня есть код согласно документации. Тем не менее, мы столкнулись с массой бессмысленных ошибок о неверных параметрах. Может быть, мне просто ну…
06 авг '20 в 11:46
1
ответ
AWS boto3 - Ресурс: образование озера Функция: batch_revoke_permissions - Представляют ALL_TABLES
Как мы представляем "ALL_TABLES" в функции lake_formation.batch_revoke_permissions в boto3. Передача аргумента как {'Table': {'DatabaseName': 'XXXX', 'Name': 'ALL_TABLES' } } Это не удается с ошибкой ниже. 'Error': {'ErrorCode': 'InvalidInputExcepti…
08 авг '20 в 23:28
1
ответ
Программный запуск рабочего процесса AWS Lake Formation
В документации я не нашел упоминания о программном запуске рабочих процессов (например, для загрузки данных из СУБД в S3). Я также ничего не нашел в спецификации API AWS Lake Formation. Мы используем Airflow для планирования нашего конвейера ETL, и …
05 ноя '19 в 16:54
0
ответов
AWS Lake Formation: ошибка с образованием озера при работе с таблицами PostgreSQL с полем ARRAY
Используя чертежи, я создал рабочий процесс для передачи данных, хранящихся в базе данных PostgreSQL на экземпляре RDS, в озеро данных на S3. Хотя это работает для большинства таблиц, я столкнулся с ошибкой при работе с таблицами, содержащими поля A…
21 фев '20 в 02:39
1
ответ
Как скопировать обученное преобразование FindMatch ML в AWS Glue из среды UAT в среду PROD в AWS
Недавно я использовал преобразование FindMatch ML в AWS, чтобы найти повторяющиеся записи в заданном наборе данных. Чтобы создать преобразование ml, мне пришлось перейти в AWS Glue и создать его. Чтобы использовать преобразование, мне пришлось обучи…
17 май '20 в 15:37
0
ответов
AWS Glue Crawler создает пустые таблицы в Lake Formation
Я успешно перенес данные из базы данных MySQL RDS в корзины S3 с планом Lake Formation. После проверки данных было правильно загружено примерно 41 из 60 таблиц. Поиск ошибок выявил две вещи: Мой рабочий процесс blueprint не принимает все таблицы из-…
24 июн '20 в 13:46
1
ответ
Включена настройка роли IAM для создания баз данных и таблиц с помощью Lake Formation
Какова будет настройка роли IAM, которая может использоваться какой-либо службой для создания баз данных и таблиц, а также для запроса этих таблиц, когда формирование озера включено, после отзыва SUPER из группы IAMAllowedPrincipals? AWS рекомендова…
15 июл '20 в 15:41
1
ответ
Конечная точка разработки AWS Glue не работает должным образом
Я пытаюсь использовать конечную точку разработки для интерактивного запуска и редактирования сценариев ETL, но, похоже, возникают некоторые проблемы в конечной точке разработки сразу после ее создания, поскольку я получаю ошибки в scala /python REPL…
16 июл '20 в 15:51
0
ответов
Ошибка создания динамического кадра AWS Glue - InvalidInputException
Я пытаюсь создать Glue DynamicFrame из объекта S3, используя следующую команду. df = glue_context.create_dynamic_frame.from_catalog(database="s3_bucket_name", table_name="s3_object_name") Это дает InvalidInputException по причине Cannot vend credent…
26 фев '20 в 06:13
0
ответов
Доступ к AWS Lake Formation запрещен
Я включил формирование озера и попытался создать базу данных, но, несмотря на то, что я все еще получаю сообщение об ошибке:Недостаточно разрешений на формирование озера: требуется создать базу данных в каталоге Я использую учетную запись root со вс…
07 окт '20 в 10:40
3
ответа
AWS Lake Formation: недостаточно разрешений на формирование озера на s3://abc/
Я пытаюсь настроить datalake из консоли AWS Lake Formation. Я следую указанному ниже ресурсу, чтобы сделать то же самое: https://aws.amazon.com/blogs/big-data/integrating-aws-lake-formation-with-amazon-rds-for-sql-server/ Но на втором этапе при созд…
15 сен '20 в 10:53
0
ответов
AWS Lake Formation - закладка с несколькими столбцами
Я прочитал эту документацию по AWS Lake Formation и закладкам для инкрементной загрузки данных:https://docs.aws.amazon.com/lake-formation/latest/dg/workflows-creating.html У меня есть таблица с такими столбцами, как: foo_id (целое число) bar_id (цел…
04 ноя '20 в 18:26
1
ответ
AWS Lake Formation: CLI grant_permissions: неизвестный параметр в Resource.Table: "TableWildcard"
Мы пытаемся предоставить разрешения (с помощью интерфейса командной строки AWS) для пользователя, чтобы иметь разрешение SELECT для всех таблиц в базе данных в AWS Lake Formation. На основании документации; Справочник по разрешениям на образование о…
06 окт '20 в 18:34
0
ответов
AWS Lake formarion - исключение Неподдерживаемая зона доступности
Я запускаю план из Lake Formation, чтобы найти таблицы mySQL RDSs и перенести их в Datalake в формате Parquet. В рабочем процессе некоторые узлы выходят из строя со следующим сообщением в каждом невыполненном задании: " JobRunId:jr_1bf2b9we76rgf57vh…
22 сен '20 в 22:34
1
ответ
Использование AWS Lake Formation с CloudFormation
Я хочу настроить дополнительный уровень безопасности поверх своего S3 / Glue Data Lake с помощью Lake Formation. Я хочу делать как можно больше с помощью Infrastructure as Code, поэтому, естественно, я изучил документацию CloudFormation реализации L…
23 фев '21 в 12:39
0
ответов
AWS Glue Catalog Sync
У меня есть вариант использования, чтобы поделиться каталогом данных AWS, как показано ниже. Учетная запись A-> Совместное использование каталога Glue с учетной записью B-> Совместное использование каталога Glue с учетной записью C. Я хочу пре…
09 фев '21 в 10:02
1
ответ
Базовый формат / технология Lake Formation Governed Table
Lake Formation анонсировала предварительную версию функций ACID и RLS . В ближайшем будущем следующий шаг к архитектуре Lakehouse будет возможен на EMR+LakeFormation без дополнительного уровня управления, такого как Databricks. Какой формат данных /…
03 фев '21 в 19:39
1
ответ
LakeFormation не поддерживает доступ к данным для разделов, расположение которых не является дополнительным путем расположения таблицы.
Я запрашиваю общую таблицу склейки с использованием образования озера и получаю эту ошибку. HIVE_UNKNOWN_ERROR: com.amazonaws.services.lakeformation.model.AWSLakeFormationException: Error retrieving data access credentials for (table: arn:aws:glue:u…
03 апр '21 в 00:40
0
ответов
Cralwer не создана таблица в озере данных из таблицы разделов postgres
Моя таблица - это раздел в postgres. Создан клей-краулер для создания стола. Я выбираю параметр «Обновить все новые и существующие разделы с помощью метаданных из таблицы» в разделе «Настроить выходные данные искателя». Поскольку она секционирована,…
07 апр '21 в 21:48
3
ответа
Предоставить Lake Formation разрешение на чтение для всех таблиц в базе данных Glue через CloudFormation
Я работаю над определением роли читателя в озере данных, которое использует Lake Formation для управления доступом. Я хотел бы предоставить эту роль Selectразрешение на все таблицы в соответствующих базах данных, так что он автоматически выбирает но…
30 апр '21 в 13:03