Описание тега azure-synapse

Вопросы об Azure Synapse Analytics, объединяющем корпоративные хранилища данных и аналитику больших данных.
4 ответа

DROP TABLE, если EXISTS не работает в хранилище данных SQL Azure

Я использовал среду управления SQL Server для создания сценария для хранилища данных Azure. Я выбрал Edition Azure Data Warehouse, он генерирует под сценарием удаление таблицы, если она существует, и создание таблицы. Однако сценарий не может пройти…
2 ответа

Лазурный синапс - разделитель строк

У меня есть текстовый файл следующего формата. "01|" "образец" "|" "Тест" | "" тестирование ""|""01"|"""". Я создал внешнюю таблицу в Azure Synapse, установив для параметра формата STRING_DELIMITER значение '"'. Но при обработке файла через sp я пол…
1 ответ

Проблема в файле YAMEL

Я использую Azure DevOps для сборки и развертывания своих Azure Synapse у меня есть два YAMLфайлы. Первый работает хорошо, и мне нужно разделить этапы сборки и выпуска. из-за этого я написал второйYAMLфайл. ВторойYAML файл имеет эту ошибку: ##[error…
1 ответ

Невозможно активировать паузу для Synapse Analytics (предварительный просмотр рабочих областей)

Я могу вызвать api для проверки состояния базы данных, но когда я пытаюсь отправить сообщение в конечную точку "пауза", я получаю следующее: The client '7713...' with object id '7713...' has permission to perform action 'Microsoft.Sql/servers/databa…
29 авг '20 в 15:33
1 ответ

Пропуск группы строк монитора Azure Synapse Analytics

Для справки я использую таблицу CCI (хэш). Я ищу решение для мониторинга, если для запроса с предикатом WHERE в моем хэше Synapse хорошо пропускает недопустимые группы строк.
28 май '20 в 20:44
1 ответ

Фабрика данных Azure v2 - OData - Копирование данных - Шестнадцатеричное значение XmlError 0x1F является недопустимым символом Строка 1, позиция 1

Вот пример используемого формата URL-адреса OData: https://odata-my-company.net/api/v1/datalake/abcd1234321234ef9887492023/data_tablename/ Я пробовал использовать закодированный URL, заменив ":" на "%3A" и "/" на "%2F" Также попытался полностью удал…
26 авг '20 в 21:23
0 ответов

Как устранить ошибку при выполнении команды Invoke-sqlcmd для подключения к хранилищу данных Azure с помощью Invoke-SQLCMD и Powershell 6?

Я пытаюсь запустить простой оператор выбора из Azure Datawarehouse/Synapse. Я использую учетную запись Azure Active Directory для проверки подлинности, в моем случае я не могу использовать проверку подлинности sql server. Эта команда отлично работае…
0 ответов

лазурный Synapse sql

Я пытаюсь извлечь данные из представлений, которые присутствуют в хранилище данных azure synapse sql, и загрузить извлеченные данные в таблицы базы данных mysql с помощью С #, но я не могу установить соединение с synapse sql с помощью поставщика Sys…
20 май '20 в 19:31
1 ответ

Подключение к Synapse из DataBricks с помощью субъекта-службы

Я пытаюсь подключиться из Databricks к Synapse, используя принципала службы. Я настроил принципала службы в конфигурации кластера fs.azure.account.auth.type.<datalake>.dfs.core.windows.net OAuth fs.azure.account.oauth.provider.type org.apache.…
2 ответа

Вывод потоковой аналитики в Synapse Analytics в шаблоне ARM

Я нахожу абсолютно 0 документации о том, как выводить из Stream Analytics в Azure Synapse Analytics в качестве вывода... Я настроил его на портале, но когда я экспортирую шаблон, все сведения об этом выходе теряются, кроме название. Я пробовал собра…
0 ответов

Azure Synapse Analytics - загрузка данных из таблицы Spark в таблицу пула SQL - ошибка: scala.util.control.BreakControl

Я работаю с Azure Synapse Analytics и пытаюсь загрузить данные из таблицы Spark в таблицу пула sql. Основываясь на документации, я запускаю следующий код (имя моего пула sql - SQLpool001): %%spark val df = spark.sql("SELECT * FROM table1")…
22 июн '20 в 14:25
0 ответов

Как использовать материализованное представление Azure SQL DW в этом сценарии

У меня проблема с производительностью в одной из хранимых процедур SQL DW. Я пытаюсь улучшить его, используя материализованные представления. Для начала мне даны 2 даты, например, 1 января 2005 г. и 31 декабря 2030 г. У меня есть таблица с названием…
1 ответ

Невозможно получить доступ к ADLS из Synapse Analytics

Я имею; Мастер-ключ. Учетные данные для базы данных. Внешний источник данных. Формат файла. Пользователь создал управляемое удостоверение для Azure SQL Server. Разрешение участника RBAC для этого управляемого удостоверения в моей учетной записи хран…
03 мар '20 в 15:05
1 ответ

Репликация Azure Synapse в Cosmos DB?

У нас есть хранилище данных Azure db2(Azure Synapse), которое будет использоваться пользователями только для чтения по всему миру, и мы хотели бы реплицировать необходимые объекты из хранилища данных потенциально в базу данных cosmos. Возможно ли эт…
11 мар '20 в 20:03
2 ответа

Чтение таблицы Azure Synapse с помощью Spark

Я безуспешно ищу, как читать таблицу Azure Synapse из Scala Spark. Я нашел в https://docs.microsoft.com/ соединители для других баз данных Azure со Spark, но ничего не нашел с новым хранилищем данных Azure. Кто-нибудь знает, возможно ли это?
23 мар '20 в 12:45
1 ответ

Фабрика данных Azure и конвейеры рабочей области Synapse

Может ли кто-нибудь объяснить мне, в чем разница между конвейерами рабочей области Azure Synapse и фабрикой данных Azure? Кажется, есть много совпадений или, возможно, фабрика данных становится частью конвейеров Synapse Workspace? Я все еще пытаюсь …
20 апр '20 в 22:44
2 ответа

Azure Synapse - получение значения идентификатора вставленной строки

У нас есть задание ETL, в котором нужно вставить строку в Table X, а затем получить IDENTITY значение для строки, вставленной в Table X для использования в последующих преобразованиях.IDENTITYиспользуется как суррогатный ключ, например, как здесь. В…
08 май '20 в 15:56
0 ответов

Как выполнять одновременные загрузки потоковой передачи в Azure Synapse Analytics

У нас есть приложение, которое считывает данные из шины сообщений и загружает их в Azure Synapse Analytics. Существует несколько экземпляров приложения, и каждый экземпляр является многопоточным. Каждое обновление может иметь несколько сотен записей…
02 мар '20 в 18:25
0 ответов

Azure Databricks в Azure SQL DW: длинные текстовые столбцы

Я хочу заполнить Azure SQL DW из среды записной книжки Azure Databricks. Я использую встроенный коннектор с pyspark: sdf.write \ .format("com.databricks.spark.sqldw") \ .option("forwardSparkAzureStorageCredentials", "true") \ .option("dbTable", "tes…
1 ответ

Создание внешнего источника данных в Azure Synapse Analytics (хранилище данных SQL Azure) для Oracle

Я пытаюсь создать внешний источник данных в Azure Synapse Analytics (хранилище данных SQL Azure) для внешней базы данных Oracle. Для этого я использую следующий код в SSMS: CREATE MASTER KEY ENCRYPTION BY PASSWORD = 'myPassword'; CREATE DATABASE SCO…