Описание тега amazon-s3-select

Описание тега Вопросы с тегом
Amazon S3 Select позволяет приложениям извлекать только часть данных из объекта Amazon S3 с помощью простых выражений SQL.
1 ответ

Подсчет повторяющейся переменной в корзине AWS-S3 с помощью запроса S3-Select

Я запускаю скрипт Python для запроса корзины AWS-S3 с помощью инструмента AWS-S3-Select. Я импортирую переменную из текстового файла и хочу передать ее в запрос S3-Select. Я также хочу подсчитать все повторения импортированных переменных (в пределах…
09 авг '18 в 19:04
2 ответа

s3 выберите для панды Dataframe

Я использую S3 Select для чтения файла CSV и вывода в JSON. Теперь я хочу вывод JSON из S3 Select в pandas dataframe. Можно ли преобразовать выход S3 Select JSON в кадр данных pandas?
14 июн '18 в 03:38
1 ответ

Может ли S3 Select искать несколько объектов?

Я тестирую S3 Select, и, насколько я понимаю из примеров, вы можете рассматривать один объект (CSV или JSON) как хранилище данных. Я хотел иметь один JSON-документ для каждого объекта S3 и искать весь сегмент как "базу данных". Я сохраняю каждый фай…
06 июн '18 в 13:13
1 ответ

Как удалить файл из корзины Amazon S3 с помощью cURL

Я пытался удалить файл из корзины s3, который находится в хранилище моего клиента s3.fidapp.org, Я использовал приведенную ниже команду, но она не сработала. Я получаю ниже ошибки. <Error><Code>SignatureDoesNotMatch</Code><Messa…
19 дек '18 в 10:21
2 ответа

Запрос строк по индексу в S3 Select

С mysql следующий код: SELECT * from TABLE limit 5, 10 будет тянуть с 5 по 10 ряды таблицы. Что является эквивалентом для этого через механизм SQL в S3 select (PrestoDB, я полагаю)? Есть ли конструктор или оператор числовых значений, который работае…
27 июн '18 в 22:07
0 ответов

Странные результаты использования AWS S3 SELECT для получения данных CSV в таблицу SQL

Я написал AWS State Machine в C# для загрузки данных из CSV-файла из S3 Bucket в таблицу базы данных SQL Server, но я получаю действительно странные данные в таблицу. Две основные функции заключаются в следующем: первая получает полезную нагрузку от…
01 ноя '18 в 01:18
2 ответа

s3-выберите запрос данных по имени поля

Я пытаюсь запросить данные из данных JSON в S3-выберите. { person = [ { "Id": 1, "Name": "Anshu", "Address": "Templestowe", "Car": "Jeep" } { "Id": 2, "Name": "Ben Mostafa", "Address": "Las Vegas", "Car": "Mustang" } { "Id": 3, "Name": "Rohan Wood",…
14 май '18 в 06:18
0 ответов

aws s3 select работает с несколькими файлами?

Я использую S3 select для запроса объекта из файла в корзине S3, но мне интересно, могу ли я сделать это с несколькими файлами или если он ограничен одним. Я написал один запрос из файла, используя aws lambda, но когда я попытался написать другой дл…
12 июл '18 в 18:47
4 ответа

Amazon S3 Select From не работает

Amazon S3 имеет новую функцию под названием select from который позволяет выполнять простые запросы SQL к простым файлам данных - таким как CSV или JSON. Так что я решил попробовать. Я создал и загрузил следующий CSV в мое хранилище S3 в Орегоне (я …
08 июн '18 в 15:25
2 ответа

AWS S3 удаление файлов, которые не были доступны

Я пишу сервис, который делает скриншоты множества URL-адресов и сохраняет их в общедоступном сегменте S3.Из-за затрат на хранение я хотел бы периодически очищать вышеупомянутую корзину и удалять все снимки экрана, к которым не обращались в течение п…
03 ноя '18 в 00:40
1 ответ

S3 Выбрать заголовки CSV

Я использую S3 Select для чтения CSV-файла из S3 Bucket и вывода в виде CSV. В выводе я вижу только строки, но не заголовки. Как получить вывод с включенными заголовками. import boto3 s3 = boto3.client('s3') r = s3.select_object_content( Bucket='dem…
14 июн '18 в 01:56
1 ответ

Как получить частичные значения объекта S3 по ключу

Учитывая ведро S3 под названием my-bucket который включает в себя ведро с ключом по имени my-objectВозможно ли получить значения из объекта, если значение объекта состоит из списка пар ключ / значение? т.е. если my-object содержит файл со следующими…
15 май '18 в 02:16
3 ответа

Потоковая передача / чанки csv из S3 в Python

Я намерен выполнить некоторые операции с большим объемом памяти над очень большим CSV-файлом, хранящимся в S3, с использованием Python, чтобы переместить скрипт в AWS Lambda. Я знаю, что могу читать всю память csv nto, но я определенно столкнусь с о…
28 июн '18 в 14:33
7 ответов

В чем разница между s3 select и athena

Я пытаюсь понять, в чем разница между сервисом aws athena и недавно выпущенным s3 select (все еще в режиме предварительного просмотра). И как разные случаи для обоих? Кажется, что оба помогают в выборе частичных данных от s3.
05 мар '18 в 02:16
0 ответов

Ошибка кодирования при использовании AWS S3 Select с помощью AWS SDK для Ruby

Я пытаюсь сделать следующее: скачать вывод запроса Athena с S3 (file.csv) распакуйте вывод и загрузите в другое место S3 (file.csv.gz) используйте S3 Select в Ruby SDK для запроса содержимого file.csv.gz Я всегда получаю следующую ошибку, всегда "ря…
13 сен '18 в 18:50
1 ответ

Запрос S3 параллельно с SQL и разбиением

Можно ли сделать простейшие параллельные запросы SQL для файла S3 с разбиением? Проблема выглядит так, как будто вам нужно выбрать 2 варианта из 3. Вы можете выполнять параллельные SQL-запросы к S3 с помощью S3 Select. Но S3 Select не поддерживает р…
30 окт '18 в 22:19
0 ответов

Получите ошибку циклической ссылки от AWS S3. Выберите запрос, используя s3api для подсчета строк в файле в S3.

Я пытаюсь подсчитать количество строк в файле, хранящемся в корзине S3, используя AWS SELECT. В частности, выполнить следующую команду (на основе документации AWS s3api и этого примера Java для запроса count(*)): aws s3api select-object-content --bu…
03 сен '18 в 17:25
1 ответ

S3 Выбрать в файле CSV - как сопоставить подстроку

У меня есть файл CSV, загруженный в корзину S3. Я хочу вернуть строки, которые соответствуют подстроке поля Display, Какой правильный синтаксис SELECT? Это возвращает 0 строк: "select * from s3object s where 'substring' in s.Display LIMIT 100" Спаси…
30 ноя '18 в 04:06
1 ответ

S3 Выбрать с помощью boto3 - internalerror

Кто-нибудь получил "S3 Select" ( https://aws.amazon.com/blogs/aws/s3-glacier-select/, https://aws.amazon.com/about-aws/whats-new/2018/04/amazon-s3-select-is-now-generally-available/) с работающим boto3 (или даже cli или другим sdk)? Я получаю загадо…
06 апр '18 в 06:15
2 ответа

S3 Выберите ошибку Python

Я пытаюсь поймать данные из объекта S3. Я использую функцию S3 Select, как показано ниже: версия boto3: 1.7.59 import boto3 s3 = boto3.client('s3') r = s3.select_object_content( Bucket="bucket", Key="file.json", ExpressionType='SQL', Expression="sel…
18 июл '18 в 19:48