Описание тега aws-databrew
1
ответ
Как преобразовать файл XLSX в CSV с помощью AWS Glue Databrew
Можно ли загрузить файл Excel в корзину S3 (входное местоположение = файл XLSX), создать набор данных Databrew из этого файла Excel и создать рецепт в AWS Glue Databrew, который преобразует этот файл Excel в файл CSV (выходное местоположение, которо…
28 дек '21 в 16:31
0
ответов
Получение выходных данных задания AWS Glue DataBrew в виде одного файла CSV
После внесения изменений в проект DataBrew и выбора «Выполнить задание» задание выполняется успешно, но на выходе — множество файлов CSV. Есть ли способ указать, что я хочу, чтобы на выходе был только один файл, а не несколько файлов? см. ниже
12 янв '22 в 03:13
1
ответ
Не удалось подключиться к AWS Glue для подключения к DataBrew.
Я пытаюсь начать работу с AWS Databrew, используя подключение к Redshift. Я добавил подключение к AWS Glue, и оно работает во время тестирования. Когда databrew пытается использовать это соединение, выдается следующая ошибка. И датабрю, и клей наход…
28 янв '22 в 08:01
0
ответов
AWS Python SDK — AttributeError: объект «GlueDataBrew» не имеет атрибута «create_ruleset»
Как следует из названия, после создания клиента DataBrew client = boto3.client("DataBrew") оператор (с правильными параметрами вместо ...) client.create_ruleset(Name=...,TargetArn=...,Rules=...) выдает ошибку выше. Я предполагаю, что есть какая-то п…
18 фев '22 в 13:22
1
ответ
Как ежемесячно добавлять новые столбцы в исходный набор данных с помощью AWS Databrew или других сервисов AWS
Предположим, у меня есть таблица с 3 столбцами за январь. Можно ли добиться результата (с помощью автоматизации), показанного в таблице выше, с помощью AWS Databrew или любых других сервисов AWS?
02 фев '22 в 19:07
1
ответ
Как в AWS Databrew запретить заданию Databrew разбивать файл результатов на разделы?
Все задания Databrew , сохраняющие результат в S3, создают разделы результирующего файла. В связи с этим нам нужно объединить эти разделенные файлы, прежде чем мы сможем использовать их в Excel. Есть ли способ, которым я могу остановить задание Data…
14 фев '22 в 16:31
0
ответов
AWS Glue Databrew: как экспортировать файл без столбцов с двойными кавычками?
Я использую AWS Glue Databrew для выполнения некоторых основных заданий ETL. Задания выполняются нормально, и результат правильный, но есть проблема с форматом в некоторых столбцах. Glue databrew инкапсулирует некоторые столбцы в двойные кавычки. Мо…
03 фев '22 в 16:07
0
ответов
Обработка отсутствующих столбцов в AWS Databrew и данных с другой схемой
У меня есть проект AWS databrew, который я хочу использовать для преобразования двух разных схем данных json. Из того, что я обнаружил, нет функции рецепта, которая обрабатывает отсутствующие столбцы данных (только отсутствующие значения внутри суще…
18 май '22 в 22:19
0
ответов
Почему Pyarrow и Pandas Dataframe Compression создают файлы большего объема памяти, чем AWS Databrew?
Я перехожу от фрейма данных к файлу паркета, используя функцию pyarrow или pandas dataframe 'to_parquet', и в обоих из них есть поле, чтобы указать, какое сжатие вы хотите выполнить. Проблема заключается в том, что когда я создаю файлы паркета с пом…
20 сен '22 в 16:16
0
ответов
Aws Databrew не поддерживает выбор имени роли с расширением . из консоли
Aws Databrew не позволяет выбирать роль с расширением . в имени роли при создании проекта. Я попытался использовать API boto3 для создания проекта с тем же именем роли, и он прошел. Похоже, это проблема только с консоли. Даже в консоли ошибки не выд…
19 сен '22 в 08:59
0
ответов
Не удалось найти активную конечную точку интерфейса AWS Glue VPC. Не удалось найти активный NAT
Я пытаюсь создать задание AWS Databrew, которое извлекает данные из папки S3 в таблицу AWS RDS SQL Server и получает следующее: «Не удалось выполнить проверку конечной точки интерфейса AWS Glue VPC для SubnetId: subnet-xxx9574. VPC: vpc-xxxdd2. Прич…
02 дек '22 в 19:19
0
ответов
Ошибка покрытия формата AWS Databrew DateTime
Я импортировал файл CSV в AWS Databrew. По умолчанию он преобразовал каждый столбец даты и времени в строку. Мне нужно проверить, находится ли поле в формате даты и времени или нет. Когда я пытаюсь преобразовать столбец «Источник» в формат «timeStam…
19 сен '22 в 05:52
0
ответов
поделиться рецептом с коллегой?
Нуб AWS Glue Databrew здесь. У нас с коллегой есть общая корзина s3 с нашими источниками данных. Мы хотели бы работать над одним и тем же проектом Glue Databrew или, если это не удастся, по крайней мере, поделиться рецептами. Похоже, единственный сп…
23 окт '22 в 02:39
0
ответов
Как сгладить файл json, содержащий структуры и массивы в одном файле, с помощью AWS Glue
Раньше я работал с Azure, но я очень новичок в AWS. У меня похожая ситуация с . У меня есть много файлов json в корзине S3, а в файлах есть структуры и массивы. Мне нужно сгладить их обоих и снова оставить S3. В конце дня мне нужно загрузить данные …
04 янв '23 в 20:13
0
ответов
Атрибут не найден в AWS SAM databrew?
Я пытаюсь создать проверку качества данных для набора файлов в s3. Для этого я выбрал сбор данных AWS и создал набор данных, правила качества данных и задание профиля данных с помощью шаблона SAM. Здесь после создания набора данных я должен ссылатьс…
25 янв '23 в 11:19
0
ответов
Почему проект AWS Glue DataBrew при создании пытается загрузить все данные из таблицы RDS
Когда мы создаем проект DataBrew и обращаемся к набору данных на основе соединения JDBC, мы обнаруживаем, что RDS(база данных MySQL) выполняет запрос => выберите * из таблицы. Но наша таблица содержит огромные данные. Почему загружаются полные да…
09 янв '23 в 10:45
0
ответов
Как выбрать все столбцы в структуре JSON в aws databrew?
Рецепты Databrew могут быть написаны в формате JSON для преобразований, которые будут использоваться более одного раза для нескольких наборов данных. Это пример, который я скопировал из руководства разработчика Databrew для объединения наборов данны…
03 янв '23 в 12:28
0
ответов
Преобразование времени AWS Databrew из формата ЧЧ:ММ XM в формат ЧЧ:ММ:СС
Как лучше всего преобразовать время, например 13:00, в формат 13:00:00 в AWS Databrew? Поскольку секунды не указаны, это может быть просто 00. Я попытался выбрать столбец и использовать Форматы даты и времени -> ЧЧ:ММ:СС или ЧЧ:ММ Ни один из вари…
27 июл '22 в 17:11
0
ответов
Лямбда уведомления корзины AWS S3 выдает исключение (сервис: Amazon S3; код состояния: 404; код ошибки: NoSuchKey)
У нас есть задание AWS Glue DataBrew, которое помещает вывод в какую-то папку корзины S3. Затем для этого уведомления о размещении уведомляется лямбда-выражение Java. Но следующий пример кода выдает исключение: S3EventNotification.S3EventNotificatio…
22 дек '22 в 03:50
0
ответов
Сбор данных Aws —
У меня есть требование: у меня есть 3 столбца A,B,C в данных, которые я хочу поставить if..else/условие переключения в столбцах C, и если это правда, то вернуть значения A*B. Это означает вывод любых математических функций результата условия в столб…
02 май '23 в 07:36