Описание тега azure-data-lake
Azure Data Lake Analytics - это набор из трех служб больших данных в Microsoft Azure: HDInsight, Data Lake Store и Data Lake Analytics. Эти полностью управляемые службы позволяют легко приступить к работе и легко масштабировать задания с большими данными, написанные на Hive, Pig, Spark, Storm и U-SQL.
1
ответ
Как читать файлы из озера данных Azure и отображать эти файлы в Angular-2?
Мне нужно прочитать файлы из озера данных Azure, и я должен отобразить эти файлы в компоненте Angular-2. но я получаю только свойства файла из озера данных Azure при использовании метода List File Status(). но мне нужен файл с контентом. Как прочита…
28 авг '17 в 09:03
1
ответ
Библиотека расширений USQL + Python
Поддерживает ли расширение usql python библиотеку sci-kitlearn? На веб-странице https://docs.microsoft.com/en-us/azure/data-lake-analytics/data-lake-analytics-u-sql-python-extensions упоминаются только numpy, pandas, Numberxpr. Если нет, то как мы м…
12 сен '18 в 17:56
3
ответа
U-SQL с XmlExtractor - элементы внутри элементов
В U-SQL я пытаюсь получить список элементов внутри элементов, используя XmlExtractor. Но я не могу получить вложенную коллекцию. Это список предметов, который имеет местоположения. С XmlExtractor я могу получить коллекцию элементов, но я не вижу, ка…
14 сен '17 в 09:08
1
ответ
Подстановочные знаки для входов хранилища озера данных Azure в фабрике данных
Я просматриваю документацию Microsoft по перемещению данных в хранилище озера данных Azure и нахожу следующее о fileName имущество: Имя файла в хранилище озера данных Azure. fileName является необязательным и чувствительным к регистру. Если вы укаже…
16 фев '17 в 23:20
0
ответов
Извлечение данных подкачки с помощью фабрики данных Azure
Я создал конвейер в фабрике данных Azure V2. Он скопирует данные из Rest API и сохранит их в виде файла JSON в озере данных Azure. Затем я преобразую этот файл JSON с помощью U-SQL и скопирую эти данные в другую папку в формате.csv. Мой Трубопровод.…
02 апр '18 в 20:00
0
ответов
Непоследовательные результаты аналитики Azure Stream
Я использую Azure Stream Analytics для передачи данных в хранилище озера данных. Исходный файл | CSV с разделителями Выход также | CSV с разделителями Входящий файл в хранилище BLOB-объектов корректно форматируется при проверке в notepad++, что кажд…
28 авг '18 в 12:21
1
ответ
USql Call data в многомерном массиве JSON
У меня есть этот файл JSON в озере данных, который выглядит следующим образом: { "id":"398507", "contenttype":"POST", "posttype":"post", "uri":"http://twitter.com/etc", "title":null, "profile":{ "@class":"PublisherV2_0", "name":"Company", "id":"2163…
17 авг '16 в 15:44
1
ответ
Столбцы таблицы U-SQL не отображаются ни в одном инструменте ADLA
Смотрите на экран ниже. У меня есть проблема в аренде с понедельника (17 апреля)
18 апр '17 в 08:53
1
ответ
Как обрабатывать или архитектуру, постепенное поступление данных в хранилище озера данных Azure?
У меня есть два пользовательских кода DLL для изображений, связанных с IP-камерами. dll-One: извлечение изображения из IP-камер и его сохранение в хранилище озера данных Azure. Как: / ADLS / clinic1 / patientimages / ADLS / clinic2 / patientimages d…
19 апр '17 в 14:23
1
ответ
Модульное тестирование USQL с помощью инструментов ADL для VS 2017 - ошибка после обновления до 2.3.4000.x
Один из членов команды после обновления инструментов ADL для VS до версии 2.3.4000.x, получая приведенную ниже ошибку. Ошибка: (-1,-1) 'E_CSC_SYSTEM_INTERNAL: Внутренняя ошибка! ObjectManager обнаружил недопустимое количество исправлений. Обычно это…
04 июл '18 в 22:44
1
ответ
Как исследовать и решить проблему времени регулирования в Azure Data Lake Analytics?
На одном из моих успешных заданий ADLA я получил следующее предупреждение: Throttling Time: The job exhibited throttling which may have impacted performance. В работе я читаю данные из таблицы, выполняю некоторую обработку и записываю результаты в д…
19 май '17 в 11:07
1
ответ
Создать новую таблицу из подключения DBFS к озеру данных Azure
У меня есть каталог на озере данных Azure, подключенный к кластеру блоков данных Azure. Просматривая файловую систему с помощью инструментов CLI или просто запуская утилиты dbfs через ноутбук, я вижу, что в этом каталоге есть файлы и данные. Далее -…
23 июл '18 в 09:25
1
ответ
Можно ли смонтировать Azure DataLake в качестве диска на сервере Linux?
Наша конечная цель заключается в том, чтобы наши серверы виртуальных машин Linux имели прямой доступ к каналу данных Azure в виде смонтированной файловой системы. Microsoft заявляет, что Azure Datalake совместим с hdfs, поэтому мы задались вопросом,…
28 авг '17 в 07:41
1
ответ
Удалите временные файлы из хранилища данных Azure в конвейере Azure DataFactory (предпочтительно USQL)
Мы используем AdLS (хранилище озера данных Azure) в качестве временного хранилища в нашем конвейере ADF (фабрика данных Azure - V2). Каков наилучший способ удалить данные, которые временно хранятся в ADLS? U-SQL поддерживает только DDL, а не DML, по…
24 фев '19 в 11:49
1
ответ
Как передать счет в U-SQL Applier?
Я хочу передать подсчет данных пользовательскому приложению, но я не уверен, как его передать. Вот мой пример кода, где я вычисляю количество в @count и передаю его конструктору CsvApplier, но он не работает. Есть ли способ добиться этого в U-SQL? О…
02 мар '16 в 10:39
2
ответа
Как SHA2 хэшировать строку в USQL
Я пытаюсь запустить односторонний хэш для строкового столбца в USQL. Есть ли способ сделать это встроенным? Большинству примеров C#, найденных в сети, требуется несколько строк кода - что сложно в USQL без выделенного кода или скомпилированной сборк…
29 май '18 в 18:40
2
ответа
Не удается удалить файлы из хранилища озера данных, созданного активностью HDinsight
Я не способен delete файлы, созданные Python/Scala/Hive программы на связанные Azure Datalake Store, Когда я пытаюсь delete те папки и файлы, которые я получаю access denied error, Я гарантировал, что у меня есть full permission на эти папки и файлы…
07 май '18 в 09:50
3
ответа
Представления метаданных каталога U-SQL
В зрелом мире RDBMS у нас есть много представлений каталога, которые описывают метаданные и могут использоваться для генерации кода сценариев обслуживания. Существует ли что-то подобное в U-SQL? Например, я хочу создать сценарий U-SQL, который созда…
24 апр '17 в 16:34
2
ответа
Копирование фабрики данных Azure из одного DataLake в другой DataLake
Мне нужно построить конвейер, который мог бы копировать из одного DataLake в другой, но пока, просматривая Google, я не смог найти ничего, связанного с этим, может ли кто-нибудь указать мне правильное направление? Большое спасибо.
21 фев '18 в 14:45
1
ответ
Как сжать файлы в хранилище Azure Data Lake
Я использую хранилище озера данных Azure в качестве службы хранения для своего Java-приложения, иногда мне нужно сжимать несколько файлов, сейчас я копирую все файлы на сервер, сжимаю их локально, а затем отправляю zip в azure, даже хотя это работа,…
20 ноя '18 в 11:35