Описание тега azure-sqldw
Хранилище данных SQL Azure - это распределенная база данных корпоративного класса в облаке Azure, способная обрабатывать до петабайтных объемов реляционных и нереляционных данных. Это первое в отрасли облачное хранилище данных с возможностью увеличения, уменьшения и остановки за секунды.
1
ответ
Почему Polybase работает медленно для больших сжатых файлов, которые охватывают 1 миллиард записей?
Что может привести к снижению производительности Polybase при запросе больших наборов данных для вставки записей в хранилище данных Azure из хранилища BLOB-объектов? Например, несколько тысяч сжатых (.gz) CSV-файлов с заголовками, разделенными на не…
20 фев '17 в 06:11
2
ответа
Как загрузить в хранилище данных SQL Azure данные, хранящиеся в формате JSON в BLOB-объектах Azure?
У меня есть куча данных, хранящихся в виде файла JSON в BLOB-объектах Azure. Я хочу загрузить их в хранилище данных SQL Azure, но хранилище данных SQL Azure, похоже, не принимает входные файлы JSON. Каков наилучший подход? Решения, которые я изучил:…
09 дек '15 в 17:29
2
ответа
Доступ к ВНЕШНЕМУ ТАБЛИЦУ не выполнен из-за внутренней ошибки: "Возникла исключительная ситуация Java при вызове HdfsBridge_IsDirExist. Сообщение об исключении Java:
Я пытаюсь создать внешнюю таблицу с помощью PolyBase с синтаксисом ниже в Visual Studio 2015. Это дает мне ошибку ниже. Может кто-нибудь, пожалуйста, помогите по этому CREATE EXTERNAL TABLE dbo.DimDate2External ( DateId INT NOT NULL, CalendarQuarter…
20 янв '17 в 12:30
2
ответа
Azure SQL DW CTAS, содержащий более 102 400 строк в одном распределении, автоматически не сжимается
Я думал, что способ работы хранилищ столбцов заключается в том, что если вы загрузите более 102 400 строк в одно распределение хранилища столбцов, оно автоматически сожмет его. Я не наблюдаю это в Azure SQL DW. Я делаю следующее заявление CTAS: crea…
05 янв '16 в 22:38
1
ответ
Постановка таблицы дизайна для производительности
В моем хранилище данных SQL Azure есть типичный шаблон звездочки. Данные сначала выгружаются в промежуточные таблицы через фабрику данных, затем она вызывает основную процедуру, которая вызывает другие процедуры для преобразования данных в соответст…
26 фев '19 в 15:10
1
ответ
Бенчмаркинг хранилища данных SQL DWU
Я собираю несколько простых анализов для оценки влияния DWU на чтение и запись на основе выражения CTAS. Запрос объединяет таблицу строк 1.7b в таблицу из 993 тысяч строк. Исходные и конечные таблицы распределены по схеме "круговой прием" (источник …
25 авг '16 в 14:58
2
ответа
Не удается подключиться к Azure SQL с помощью PowerShell в приложении-функции с поддержкой MSI
Недавно созданная функция приложения работает. Приложение функции содержит функции C# и PowerShell, которые работают, как и ожидалось, с включенным MSI. Код PowerShell ниже, полный код на Github Write-Output "PowerShell Timer trigger function execut…
11 апр '18 в 23:12
1
ответ
Проблема с подключением к хранилищу данных SQL Azure
У меня проблема с подключением к экземпляру хранилища данных SQL Azure из корпоративного брандмауэра. Я могу подключиться к самому серверу (то есть к основной базе данных) и подключиться по telnet как к имени сервера, так и к IP на 1433, но когда я …
19 ноя '15 в 10:56
1
ответ
Контекстная информация о сеансе / запросе в журналах для хранилища данных SQL Azure
Предоставляет ли хранилище данных SQL Azure функцию, позволяющую регистрировать контекст запроса? Я прочитал, что Спецификация JDBC API относится к этому виду базы данных как "Информация о клиенте". Oracle предоставляет встроенную процедуру dbms_app…
09 дек '16 в 15:31
2
ответа
Таблица SQL Azure SQL не использует все распределения на вычислительных узлах для хранения данных
Одна из таблиц фактов в нашем SQL Azure SQL DW (хранит данные телеметрии поезда) создается как распределенная таблица HASH (ключ HASH - это VehicleDimId - целочисленное поле, ссылающееся на таблицу размеров автомобиля). Общее количество записей в та…
26 апр '18 в 00:02
1
ответ
SP работает очень медленно в Azure DW даже с таблицами с распределением HASH по уникальному столбцу
У меня есть хранимая процедура в AZURE DW, которая работает очень медленно. Я скопировал все таблицы и SP на другой сервер, и там это занимает очень мало времени для выполнения. Я создал таблицы, используя распределение HASH в уникальном поле, но та…
19 янв '17 в 09:01
1
ответ
Получение исключения при попытке скопировать данные из BLOB-объекта Azure в SQL Datawarehouse с использованием DataFactory
Я создал конвейер, который использует операцию копирования для перемещения данных из Blob в SQL Datawarehouse. Azure Blob Dataset: "name": "TradeData", "properties": { "type": "AzureBlob", "linkedServiceName": "HDInsightStorageLinkedService", "struc…
17 окт '16 в 08:45
2
ответа
Формат файла PolyBase хранилища данных Azure
У нас есть файл, который выглядит так: Col1,Col2,Col3,Col4,Col5 "Hello,",I,",am",some,data! Поэтому он имеет следующие "свойства": Разделенные запятой Разделитель столбцов в двойных кавычках Запятые в некоторых столбцах Теперь, я не уверен, возможно…
25 июл '16 в 09:52
1
ответ
Язык сессии базы данных
Мне нужно иметь возможность предупреждать пользователей об исключениях (например, длительные запросы) в хранилище данных SQL Azure (ADW). При просмотре sys.dm_pdw_exec_sessions ( https://msdn.microsoft.com/en-us/library/mt203883.aspx) я не вижу ника…
07 мар '17 в 21:28
1
ответ
Как переместить список sharepoint или файл excel в azure sql dw?
Я хочу скопировать данные из sharepoint в Microsoft Azure SQL DW, используя Azure Datafactory или альтернативный сервис. Я могу это сделать. Пожалуйста, кто-нибудь, помогите мне с этим.
15 сен '16 в 13:40
2
ответа
Переименовать столбец в хранилище данных Azure
Я знаю, что могу достичь своей цели с помощью этого процесса: Создать новый столбец Обновление нового от старого Брось старый Я ищу способ сделать это с помощью одной команды. я знаю это remane object работает на уровне таблицы. Например, я могу сде…
22 мар '18 в 15:18
2
ответа
Предотвратить дублирование при вставке с миллиардами строк в хранилище данных SQL?
Я пытаюсь определить, есть ли практический способ предотвратить вставку дубликатов строк в таблицу с помощью Azure SQL DW, когда таблица уже содержит миллиарды строк (скажем, 20 миллиардов). Основная причина этого заключается в том, что источником д…
21 мар '18 в 19:06
2
ответа
Полибаза над озером данных - что такое OAuth_2.0_Token_EndPoint?
Я пытаюсь подключить хранилище данных SQL Azure к Datalake, следуя руководству Microsoft. Microsoft приводит следующий пример кода, но не уточняет, что такое OAuth_2.0_Token_EndPoint и где его найти на портале Azure. CREATE DATABASE SCOPED CREDENTIA…
17 май '17 в 13:00
1
ответ
Миграция из базы данных SQL Azure в хранилище данных
В настоящее время у меня есть база данных SQL Azure, где все данные в ней находятся в звездообразной схеме (таблицы Fact/Dim с индексами хранилища столбцов) и используются исключительно для приложения отчетов. В настоящее время мы используем экземпл…
04 июл '18 в 11:14
2
ответа
Как разделить на основе месяца и года в хранилище данных SQL Azure
Я собираюсь использовать ADF для копирования 5 миллиардов строк в хранилище данных SQL Azure. Azure SQL DWH по умолчанию распределит таблицу на 60 распределений, но я хочу добавить еще 50 разделов на основе месяца и года следующим образом: PARTITION…
24 июл '18 в 10:35