Описание тега azure-data-lake-gen2
Задайте вопрос, связанный с Azure Data Lake Storage Gen2.
1
ответ
Запись фрейма данных Azure databricks приводит к ошибке прерывания задания
Я пытаюсь записать данные в файлы csv и сохранить файл в Azure Data Lake Gen2 и получаю сообщение об ошибке прерывания задания. Этот же код раньше работал нормально. Сообщение об ошибке: org.apache.spark.SparkException: Job aborted. Код: import requ…
21 авг '20 в 03:08
2
ответа
импортировать данные таблицы и сохранять как документы json в adls gen2 с помощью блоков данных
Я использую приведенный ниже код для создания набора результатов json из таблицы сервера sql. Powershell: $InstanceName = "SQLTEST1\ENG_TST1" $connectionString = "Server=$InstanceName;Database=dbadb;Integrated Security=True;" $qu…
03 авг '20 в 21:40
1
ответ
Как создать образ Docker, представляющий озеро данных Azure (поколение 2)?
Я использую следующий образ Docker для сервера MS Sql... version: "3.2" services: sql-server-db: image: mcr.microsoft.com/mssql/server:latest ports: - 1433:1433 env_file: ./tests/.my_test_env Как создать образ Docker для имитации озера дан…
26 авг '20 в 21:55
1
ответ
Установка модуля PowershellGet возвращает ошибку
Я пытаюсь следовать документации по использованию Powershell для управления Azure Data Lake Gen 2 здесь, но получаю предупреждение и ошибку при попытке установитьPowerShellGetмодуль. См. Снимок экрана ниже. Если я проигнорирую это и продолжу попытки…
22 апр '20 в 14:29
1
ответ
Анализ PDF-файла U-SQL + Python в Azure Data Lake Analytics
Мне нужно извлечь данные из файлов PDF и сохранить значения в таблице с помощью аналитики озера данных. Может ли кто-нибудь помочь мне с некоторыми примерами или процедурой достижения этого сценария.
26 май '20 в 15:10
1
ответ
Имя выходного файла в конечную папку в pyspark
Я хочу записать данные в выходную папку без стандартного формата искры: Есть ли способ вывести данные только с определенным именем файла и расширением (json)? Заранее благодарю за любую помощь!
09 дек '19 в 21:34
0
ответов
Используйте токен доступа, выданный AAD, для аутентификации ADLS Gen2 через AzCopy
Чтобы выгрузить и загрузить файлы из ADLS Gen2, Azure предоставила REST API. ADLS Gen2 защищен с помощью Azure AD, и каждая папка авторизована для каждого пользователя. Чтобы загрузить файл через REST API, я делаю следующее - а. Получите Accesstoken…
24 апр '20 в 10:43
1
ответ
DataLakeServiceClient выдает ошибку определения типа: [простой тип, класс com.azure.core.http.netty.NettyAsyncHttpClient] при использовании Java SDK
Я пытаюсь получить доступ к ADLS с помощью Java SDK. Ниже представлена конфигурация, которую я использую для получения DataLakeServiceClient. import com.azure.core.http.HttpClient; import com.azure.core.http.netty.NettyAsyncHttpClientBuilder; impo…
29 июл '20 в 16:52
1
ответ
Есть ли реальное использование назначенной пользователем управляемой идентификации, если все мои ресурсы находятся в одной подписке?
Я пытаюсь создать кластер HDInsight в определенной подписке. Теперь тип хранилища по умолчанию, который я выбираю, относится к типу ADLS Gen2, и экземпляр хранилища существует в той же подписке (пользовательский интерфейс здесь в любом случае будет …
25 окт '19 в 12:48
1
ответ
Невозможно увидеть параметр "Управление жизненным циклом" для ADLS Gen2
Я создал ресурс ADLS (Azure Data Lake Storage) Gen2 (StorageV2 с включенным иерархическим пространством имен). Регион, в котором я создал ресурс, - Центральная часть США, уровень производительности / доступа - Стандартный / Горячий, а репликация - L…
25 окт '19 в 14:32
1
ответ
ADLS Gen 2 Storage API - отказ от Http-команд
У меня проблема с некоторыми конечными точками в операциях пути к APIADLS Gen 2. Я могу без проблем создавать, перечислять, получать свойства и удалять файловые системы. Однако после добавления каталога в файловую систему некоторые команды не работа…
25 окт '19 в 17:46
1
ответ
Невозможно получить доступ к файловой системе Azure Data Lake Gen2 с помощью Angular с помощью azure-sdk-for-js
Я разрабатываю приложение с Angular 8 и пытаюсь подключиться к файловой системе Azure Data Lake Gen 2 через его REST API, чтобы иметь возможность получать список папок, а также выполнять импорт файлов. Для аутентификации я использую библиотеку msal-…
30 окт '19 в 12:20
0
ответов
RestMessage в Azure Resource Manager с использованием профиля OAuth не работает
Я тестирую профиль OAuth для сторонних поставщиков, и мне нужно работать с API управления Azure. Я настроил поставщика OAuth для предоставления grant_type = client_credentials и предоставил мои client_id и client_secret. Чтобы получить доступ к API …
08 ноя '19 в 15:34
0
ответов
Получение только папок из файловой системы ADLS Gen2 с помощью REST API (Powershell)
Можно ли получить только имена папок (но не имена файлов) из файловой системы Azure Data Lake Gen2 с помощью REST API? Я могу получить список всего содержимого (папок и файлов) файловой системы. Существует верхний предел в 5000 имен элементов, котор…
13 ноя '19 в 09:54
1
ответ
Данные MS Access в Azure Blob
Данные находятся в MS Access и на одном из общих дисков в сети. Мне нужны эти данные в хранилище Azure blob в виде файлов CSV. Может ли кто-нибудь предложить мне, как это возможно?
06 ноя '19 в 12:05
1
ответ
Токен OAuth для вызова REST API в Azure Data Lake Storage 2-го поколения с использованием субъекта-службы
Я работаю над приложением (одним из основных микросервисов), которое будет вызывать Azure ADLS Gen 2 для хранения файлов (в файловой системе) для дальнейшей обработки другими компонентами. Я пытаюсь получить токен OAuth для целей аутентификации, выз…
25 ноя '19 в 15:52
0
ответов
Код ошибки 2200 фабрики данных V2 в ASQLDW
Я пытаюсь скопировать данные из ADL(озера данных) в ASQLDW с помощью фабрики данных Azure V2. При копировании данных возникает ошибка. В конвейере выполняется правильная проверка, но данные не передаются в SQLDW. Пожалуйста, помогите, если кто-нибуд…
26 ноя '19 в 13:39
1
ответ
Ошибка атрибута при создании области для доступа к Azure Datalake Gen2 из Databricks
Я пытался настроить, используя прицелы, и у меня возникли некоторые проблемы. Любая помощь будет оценена. Я выполнил следующие команды в Databricks CLI databricks secrets create-scope --scope dnb-dlg2-dbrcks-scp-stg databricks secrets put --scope dn…
10 дек '19 в 18:33
2
ответа
Предоставление доступа к Azure Data Lake Gen2 с помощью параметризованного сценария
Мы пытаемся предоставить доступ для чтения и записи ко многим папкам в контейнерах Azure Data Lake Gen 2, и хотя мы можем сделать это через пользовательский интерфейс, это довольно утомительно и должно повторяться для всех сред. Кто-нибудь использов…
17 дек '19 в 21:54
1
ответ
Как получить доступ к файлу .txt, который присутствует в Azure datalake gen2, напрямую без загрузки
Как получить доступ к файлу.txt, который присутствует в Azure datalake gen2, напрямую без загрузки. Мне удалось загрузить и прочитать его, но есть ли способ напрямую прочитать файл из gen2 напрямую. Я использовал метод read_file DataLakeFileClient()…
06 янв '20 в 02:58