Базовый формат / технология Lake Formation Governed Table
Lake Formation анонсировала предварительную версию функций ACID и RLS . В ближайшем будущем следующий шаг к архитектуре Lakehouse будет возможен на EMR+LakeFormation без дополнительного уровня управления, такого как Databricks.
Какой формат данных / технология используются в управляемых таблицах Lake Formation? Будет ли это Худи? Если не Hudi, как новый формат / технология сравнивается с Hudi?
1 ответ
Мне тоже интересно, но я не видел никакой информации по этому поводу.
aws-data-wrangler в настоящее время добавляет поддержку таблиц, управляемых Lake Formation. Глядя на один из крупных PR https://github.com/awslabs/aws-data-wrangler/pull/560/files , можно сделать некоторые наблюдения:
- Управляемые таблицы управляются через API-интерфейс озерной информации.
- Упоминается «Механизм запросов LF» https://github.com/awslabs/aws-data-wrangler/pull/560/files#diff-71cf0e59c4ff5180dca21273da3998c16dcad442519db75af27482e5420f8dc0R61
- Упоминается "Выполнить запрос PartiQL в таблице AWS Glue" https://github.com/awslabs/aws-data-wrangler/pull/560/files#diff-71cf0e59c4ff5180dca21273da3998c16dcad442519db75af27482e541220f8dc0R