Описание тега u-sql
U-SQL - это язык запросов, разработанный для озера данных Azure. Он предоставляет способ смешивать ключевые слова SQL с синтаксическими выражениями C#, так что в рамках одного сценария программист может схематизировать данные из неструктурированного источника, использовать SQL для агрегирования данных в желаемую форму, а затем записать результат в файл. или стол.
1
ответ
Библиотека расширений USQL + Python
Поддерживает ли расширение usql python библиотеку sci-kitlearn? На веб-странице https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-u-sql-python-extensions упоминаются только numpy, pandas, Numberxpr. Если нет, то как мы м…
12 сен '18 в 17:56
3
ответа
U-SQL с XmlExtractor - элементы внутри элементов
В U-SQL я пытаюсь получить список элементов внутри элементов, используя XmlExtractor. Но я не могу получить вложенную коллекцию. Это список предметов, который имеет местоположения. С XmlExtractor я могу получить коллекцию элементов, но я не вижу, ка…
14 сен '17 в 09:08
0
ответов
Извлечение данных подкачки с помощью фабрики данных Azure
Я создал конвейер в фабрике данных Azure V2. Он скопирует данные из Rest API и сохранит их в виде файла JSON в озере данных Azure. Затем я преобразую этот файл JSON с помощью U-SQL и скопирую эти данные в другую папку в формате.csv. Мой Трубопровод.…
02 апр '18 в 20:00
1
ответ
USql Call data в многомерном массиве JSON
У меня есть этот файл JSON в озере данных, который выглядит следующим образом: { "id":"398507", "contenttype":"POST", "posttype":"post", "uri":"http://twitter.com/etc", "title":null, "profile":{ "@class":"PublisherV2_0", "name":"Company", "id":"2163…
17 авг '16 в 15:44
0
ответов
Развертывание базы данных U-SQL через конвейеры Azure
Я пытаюсь развернуть проект базы данных U-SQL из конвейера Azure, используя эту ссылку https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-cicd-overview Он работал нормально (успешно выполнен) 2 месяца назад, когда он был …
30 окт '18 в 07:00
1
ответ
Столбцы таблицы U-SQL не отображаются ни в одном инструменте ADLA
Смотрите на экран ниже. У меня есть проблема в аренде с понедельника (17 апреля)
18 апр '17 в 08:53
1
ответ
Модульное тестирование USQL с помощью инструментов ADL для VS 2017 - ошибка после обновления до 2.3.4000.x
Один из членов команды после обновления инструментов ADL для VS до версии 2.3.4000.x, получая приведенную ниже ошибку. Ошибка: (-1,-1) 'E_CSC_SYSTEM_INTERNAL: Внутренняя ошибка! ObjectManager обнаружил недопустимое количество исправлений. Обычно это…
04 июл '18 в 22:44
1
ответ
Как исследовать и решить проблему времени регулирования в Azure Data Lake Analytics?
На одном из моих успешных заданий ADLA я получил следующее предупреждение: Throttling Time: The job exhibited throttling which may have impacted performance. В работе я читаю данные из таблицы, выполняю некоторую обработку и записываю результаты в д…
19 май '17 в 11:07
0
ответов
Разбор MultiLevel Json с использованием U-SQL
После анализа ниже JSON с использованием u-sql я хочу сохранить его в формате CSV - id, тип, имя,ppu, имя_батареи,batterid,battertype,toppingDate,toppingid,toppingtype. Мой код работает от полей id до ppu, но не более того. Образец Json- { "id": "00…
04 дек '18 в 08:49
2
ответа
U-SQL ТОЛЬКО извлекает определенные данные из JSON
У меня есть файл JSON, который содержит массив объектов { [ {id:1, a:4}, {id:2, a:7}, {id:3, a:5}, {id:4, a:9} ] } Как я могу написать скрипт U-SQL, чтобы извлечь только первый объект {id:1, a:4} Не удалось найти в документах сборки JSON, если JsonE…
09 апр '18 в 17:02
1
ответ
Удалите временные файлы из хранилища данных Azure в конвейере Azure DataFactory (предпочтительно USQL)
Мы используем AdLS (хранилище озера данных Azure) в качестве временного хранилища в нашем конвейере ADF (фабрика данных Azure - V2). Каков наилучший способ удалить данные, которые временно хранятся в ADLS? U-SQL поддерживает только DDL, а не DML, по…
24 фев '19 в 11:49
1
ответ
Как передать счет в U-SQL Applier?
Я хочу передать подсчет данных пользовательскому приложению, но я не уверен, как его передать. Вот мой пример кода, где я вычисляю количество в @count и передаю его конструктору CsvApplier, но он не работает. Есть ли способ добиться этого в U-SQL? О…
02 мар '16 в 10:39
1
ответ
Преобразовать десятичную строку в строку для сравнения в U-SQL
Я пытаюсь преобразовать данные из загруженного в CSV-файл в таблицу Azure, но у меня возникают проблемы, когда одно из значений загружается в строку, а эквивалентное значение в таблице является десятичным. @ProdOutput = EXTRACT [p_description] strin…
05 июл '17 в 10:47
0
ответов
Запустить скрипт R на U-SQL
Когда я запускаю пример USQL с использованием расширения R, я получаю эту ошибку ****"message": "Error Id: VertexFailedFast, Error Message: Vertex failed with a fail-fast error. "**** REFERENCE ASSEMBLY [ExtR]; //enable R extensions for the U-SQL Sc…
11 дек '18 в 11:56
1
ответ
Динамический внешний источник данных U-SQL
Приветствую коллег разработчиков! Кто-нибудь знает, есть ли способ запросить имена динамических внешних источников данных в U-SQL? Например, в приведенном ниже примере сценария MS мы хотели бы, чтобы "MyAzureSQLDWDataSource" создавался динамически. …
07 янв '19 в 16:18
2
ответа
Как объединить базовые и множественные дельта-структурированные потоки в Azure DataLake
У меня есть основной поток, и у меня есть несколько дельта-потоков для разных последовательных дат. Я хочу объединить их, чтобы получить последний поток. Как я могу сделать это в Azure Datalake. Например, предположим, что это поток. Мне нужно объеди…
10 апр '17 в 09:23
2
ответа
Как SHA2 хэшировать строку в USQL
Я пытаюсь запустить односторонний хэш для строкового столбца в USQL. Есть ли способ сделать это встроенным? Большинству примеров C#, найденных в сети, требуется несколько строк кода - что сложно в USQL без выделенного кода или скомпилированной сборк…
29 май '18 в 18:40
3
ответа
Представления метаданных каталога U-SQL
В зрелом мире RDBMS у нас есть много представлений каталога, которые описывают метаданные и могут использоваться для генерации кода сценариев обслуживания. Существует ли что-то подобное в U-SQL? Например, я хочу создать сценарий U-SQL, который созда…
24 апр '17 в 16:34
0
ответов
Разница между двумя таблицами в сумме строк на основе созданного нового столбца ИЛИ по сравнению с существующим столбцом
Итак, у меня есть две таблицы с одинаковыми столбцами, которые я хочу сравнить между собой двумя конкретными столбцами на предмет различий в данных. Первый подход не равен второму подходу, второй подход правильный, почему? Первый подход: добавить ст…
29 сен '18 в 19:17
1
ответ
U-SQL + Pandas Merge_asof
Я впервые работаю с Azure Data Lake Analytics и не уверен, как объединить 2 набора данных, как это было бы с пандами в python. Я объединяю два набора данных, которые имеют разные временные метки, но мне нужно выстроить их в ряд, если они находятся в…
18 сен '18 в 01:19