Описание тега amazon-athena
Amazon Athena - это сервис для выполнения SQL-запросов к данным, хранящимся на Amazon S3. Amazon Athena является частью Amazon Web Services (AWS).
1
ответ
Структура многомерного массива AWS Athena JSON
Файл JSON имеет такую структуру: "otherstuff" : "stuff", "ArrayofArrays" : { "Array-1" : { "type" : "sometype", "is_enabled" : false, "is_active" : false, "version" : "version 1.1" }, "Array-2" : { "type" : "sometype", "is_enabled" : false, "is_ac…
31 янв '18 в 23:51
2
ответа
Импорт данных из AWS Athena в экземпляр RDS
В настоящее время я слушаю события от AWS Kinesis и записываю их на S3. Затем я запрашиваю их, используя AWS Glue и Athena. Есть ли способ импортировать эти данные, возможно, с некоторым преобразованием, в экземпляр RDS?
29 апр '18 в 06:31
1
ответ
Hive Join - на основе нескольких условий
В одной из моих таблиц, которые содержат столбцы даты и события. select * from event это возвращается, date event 2016-03-20 Launch 2016-03-20 delete 2016-03-20 Launch 2016-03-20 launch 2016-03-19 delete 2016-03-19 stop Я хочу, чтобы результат, как …
26 мар '17 в 19:07
1
ответ
Автоматизируйте управление разделами внешних ульев / таблиц athena
В настоящее время у меня есть архитектура больших данных, где некоторые конвейеры данных генерируют данные и сохраняют их в AWS S3. У меня также есть внутреннее хранилище метаданных, где я отслеживаю каждый URL-адрес S3 и статус (указывая, является …
26 июл '18 в 00:53
2
ответа
Разница во времени в Амазонке Афина / Престо (секунды и минуты)
У меня есть список меток времени создания и времени окончания, я хотел бы получить количество секунд, прошедших от создания до окончания. не мог найти способ сделать это без использования метки времени UNIX (которого у меня нет на данный момент). чт…
20 мар '17 в 08:56
0
ответов
Как настроить запрос AWS Athena с несколькими заменами регулярных выражений?
Я пытался сделать запрос aws athena и получил достаточно работы, чтобы получить мои данные. но мои данные должны идентифицировать некоторые закономерности и изменять их единообразным образом, чтобы объединить эти "сходства". Так что я пытаюсь сделат…
09 окт '18 в 22:08
2
ответа
Что такое конфигурация strftime для метки времени Амазонки Афины?
В Python 3 я бы сделал что-то вроде этого: "{0:Y-M-d H:m:?.???}".format(datetime.datetime.now()) Однако, немного поискав, было бы неплохо найти где-нибудь канонический ответ.
22 авг '18 в 13:18
1
ответ
Amazon Athena экспорт сжатых запросов (таблица)
Когда я делаю запрос, как: SELECT * FROM mytable вывод сохраняется в корзине Amazon S3 в виде простого CSV. Есть ли возможность сохранить csv в сжатом формате (gzip)?
26 июл '17 в 14:18
1
ответ
SQL найти группы на основе временных диапазонов
У меня есть таблица, которая имеет следующие столбцы: Purchase_ID (varchar) User_ID (varchar) Purchase_time (bigint) - в UNIX с некоторыми другими менее важными. Существует более 60 000 уникальных идентификаторов покупки. все отдельные идентификатор…
26 июл '18 в 09:32
1
ответ
Presto - извлечение ключа в массиве
У меня есть этот образец данных (из Афины) SELECT DISTINCT m.key FROM (VALUES JSON '{"name":"project1","completed":false}', JSON '{"name":"project1","completed":false}',JSON '{"name":"project1","completed":false}') example_table(json_column) CROSS J…
30 янв '19 в 17:21
1
ответ
Можете ли вы добавить более одного раздела в одну команду "ALTER TABLE"?
Я использую Amazon Athena для запроса некоторых файлов журналов, хранящихся в корзине S3, и использую разделы для разделения дней года на файлы, которые мне нужно запрашивать. Мне было интересно - так как у меня есть большой пакет дней, чтобы добави…
19 окт '17 в 20:21
0
ответов
Как выполнить переименование схемы (базы данных) в Афинах?
Я пытаюсь выполнить заявление SQL против Афины с помощью sqlworkbench. Я выполнил несколько запросов и знаю, что у меня есть связь, если это первый вопрос. Каково было бы решение переименовать базу данных в Афине, или, может быть, Афина через JDBC? …
02 дек '18 в 00:11
1
ответ
Как отфильтровать любую комбинацию из двух списков в SQL?
Допустим, у меня есть list1 (1,2,3,4,5,6,7,8,9) и list2 ('a','b','c','d'), как я могу отфильтровать строки где column1 равно любым значениям в list1, а column2 равно любым значениям в list2 одновременно? Что-то вроде: select * from table1 where (col…
01 фев '19 в 22:10
1
ответ
Таблица в афинах не обновляется с логами vpc
У меня есть журнал потока VPC, назначение которого для него - S3, с S3 bucket = vpc_logs. в этом сегменте записи vpc загружаются в папку AWSLogs/accountId/vpcflowlogs/region/year/month/day/log_file_name.log.gz. Я хочу иметь возможность просматривать…
03 янв '19 в 13:37
1
ответ
Перекрестный доступ к аккаунту Athena/Glue
Можно ли напрямую получить доступ к Athena и Glue в другой учетной записи через EC2/EMR? Я хочу не поддерживать каталог данных в моей учетной записи AWS и повторно использовать существующий каталог.
03 июл '18 в 11:12
1
ответ
Преобразование времени эпохи Unix в расширенный ISO8601
У меня есть 3 таблицы, с которыми я хотел бы работать, используя дату, однако одна из таблиц включает дату в формате эпохи Unix. Вот пример 3 полей: Table1: 2017-02-01T07:58:40.756031Z Table2: 2017-02-07T10:16:46Z Table3: 1489236559 Я хотел бы преоб…
21 мар '17 в 12:52
1
ответ
Запрос информации об инвентаре S3 в Афине
У меня есть данные инвентаризации S3 в ведре S3, и я запрашиваю их через Афину. Мои первые два столбца показаны ниже: bucket key bke-p0d-bke-lca-data dl/xxxxxx/plant/archive/01-01-2019/1546300856.json bke-pod-bke-lca-data dl/xxxx/plant/archive/01-01…
21 фев '19 в 05:21
1
ответ
Я хочу добавить продажу за последние 30 дней и продажу от 30 до 90 дней с большим весом (1,5) к продаже за последние 30 дней
Я хочу добавить продажу за последние 30 дней и продажу от 30 до 90 дней с большим весом (1,5) к продаже за последние 30 дней. SELECT userid, SUM(premiumdetails_netpremium) from policydetail, (SELECT userid AS partner_id, SUM(premiumdetails_netpremiu…
28 фев '19 в 11:40
2
ответа
Многократное полное внешнее объединение (из данных в одной таблице)
У меня есть некоторые данные журнала, которые выглядят следующим образом бревна +---------------------+---------+---------+------+ | date | api_key | version | data | +---------------------+---------+---------+------+ | 2018-05-08 01:00:00 | AAA | v…
08 май '18 в 13:25
1
ответ
Hive - извлечение данных из вложенного Json
У меня есть таблица с именем newdata create external table newdata ( data string ) location 'something' select data from string limit 1 { "user": { "name": "default", "education": { "schoome": "abc", "college": "def" } } Мне нужно показать этот резу…
20 мар '17 в 14:48