Описание тега polybase

Вопросы с тегом
PolyBase позволяет экземпляру SQL Server 2016 обрабатывать запросы Transact-SQL, считывающие данные из Hadoop/ хранилища Azure. Тот же запрос может также обращаться к реляционным таблицам в вашем SQL Server. PolyBase позволяет с помощью того же запроса объединять данные из Hadoop и SQL Server. В SQL Server внешняя таблица или внешний источник данных обеспечивает соединение с Hadoop.
1 ответ

Почему Polybase работает медленно для больших сжатых файлов, которые охватывают 1 миллиард записей?

Что может привести к снижению производительности Polybase при запросе больших наборов данных для вставки записей в хранилище данных Azure из хранилища BLOB-объектов? Например, несколько тысяч сжатых (.gz) CSV-файлов с заголовками, разделенными на не…
20 фев '17 в 06:11
2 ответа

Доступ к ВНЕШНЕМУ ТАБЛИЦУ не выполнен из-за внутренней ошибки: "Возникла исключительная ситуация Java при вызове HdfsBridge_IsDirExist. Сообщение об исключении Java:

Я пытаюсь создать внешнюю таблицу с помощью PolyBase с синтаксисом ниже в Visual Studio 2015. Это дает мне ошибку ниже. Может кто-нибудь, пожалуйста, помогите по этому CREATE EXTERNAL TABLE dbo.DimDate2External ( DateId INT NOT NULL, CalendarQuarter…
20 янв '17 в 12:30
2 ответа

Полибаза над озером данных - что такое OAuth_2.0_Token_EndPoint?

Я пытаюсь подключить хранилище данных SQL Azure к Datalake, следуя руководству Microsoft. Microsoft приводит следующий пример кода, но не уточняет, что такое OAuth_2.0_Token_EndPoint и где его найти на портале Azure. CREATE DATABASE SCOPED CREDENTIA…
17 май '17 в 13:00
1 ответ

Polybase в SQL Server 2016

Просто интересно, позволит ли функциональность Polybase в SQL Server 2016 искать нереляционную базу данных. Мы используем TRIM для нашей системы управления документами. Позволит ли обновление до SQL Server 2016 выполнять поиск документов TRIM? Спаси…
22 дек '16 в 21:51
0 ответов

Подключение SQL Server 2016 Polybase к MapR

Наша текущая инфраструктура SQL Server 2016 работает на платформе Azure, и у нас есть требование для подключения к MapR с использованием PolyBase. Я знаю, что в настоящее время он поддерживает поставщиков Hortonworks и Cloudera. Есть ли обходной пут…
10 янв '19 в 13:39
1 ответ

Инкрементные нагрузки в Polybase

Я создал ВНЕШНЮЮ ТАБЛИЦУ для PolyBase для загрузки данных из хранилища больших двоичных объектов в хранилище данных SQL Azure. У меня есть ниже вопросы, касающиеся загрузки файла. 1) Если происходит постепенный рост данных, то как будет работать Pol…
01 фев '19 в 17:58
1 ответ

Импорт внешней таблицы

Я создал внешнюю таблицу, используя polybase с CREATE EXTERNAL TABLE [ext].[gendertable] ( gender_id TINYINT NOT NULL, gender VARCHAR(16) NOT NULL ) WITH ( LOCATION = '/MovieDB/gender.csv', DATA_SOURCE = AzureBlobHDP, FILE_FORMAT = csvformat0 ); GO …
13 фев '19 в 14:13
2 ответа

Как создать внешнюю таблицу Drop Poly Base, если она существует?

Я загрузил данные файла из хранилища BLOB-объектов Azure во внешнюю таблицу Azure SQL DW через поли-базу. Теперь файл, представленный в контейнере Blob, обновлен. Теперь я хочу загрузить свежие данные. Кто-нибудь может предложить, как свежие данные …
23 янв '17 в 07:48
2 ответа

СОЗДАТЬ ВНЕШНИЙ ИСТОЧНИК ДАННЫХ из SS2019 CTP2.2 не работает

Итак... У меня есть 2 экземпляра SQL Server 2019 (CTP2.2), и у меня есть один экземпляр, установленный с Polybase в конфигурации с одним узлом (это называется SS-A). Я создал MASTER KEY в мастере SS-A и создал базу данных SCOPED CREDENTIAL в базе да…
27 фев '19 в 19:55
1 ответ

Проблема загрузки данных с фабрикой данных Azure

Я пытаюсь загрузить много CSV-файлов из хранилища BLOB-объектов в хранилище данных SQL Azure через фабрику данных Azure. Поскольку я имею дело с огромным количеством строк, желаемый подход заключается в использовании PolyBase для массовой загрузки д…
25 июл '18 в 13:09
1 ответ

Сбой таблицы HdInsight Azure DW для таблицы Polybase to Hive (ORC) с разделом даты

Я пытаюсь создать внешнюю таблицу polybase в хранилище данных Azure для таблицы Hive, которая хранится как ORC (озеро данных HD insight) и разбивается по дате, когда я запрашиваю внешнюю таблицу на предмет ее сбоя на сервере SQL без какого-либо надл…
05 июн '17 в 21:06
1 ответ

Почему Microsoft не может реализовать экспорт CETAS для SQL Server 2016?

Я хотел экспортировать некоторые данные напрямую из SQL Server в хранилище BLOB-объектов Azure в сжатом формате orc, но, похоже, нет способа экспортировать, как Azure SQL DW, с использованием оператора CETAS? Мне интересно, почему Microsoft не включ…
22 мар '17 в 21:13
0 ответов

Необходимо включить параметры прокси в SQL для создания внешней таблицы с использованием среды Azure Polybase для рабочей среды.

Создание внешней таблицы с использованием polybase было успешным в локальной среде, но неуспешно в производственной среде, где мы используем прокси-серверы для доступа в Интернет. При попытке создать внешнюю таблицу в производственной среде я получи…
11 дек '17 в 11:29
1 ответ

Поддерживает ли внешний формат файла в polybase терминатор строк?

Я загружаю данные BCPed, в которых есть несколько строк, содержащих символ новой строки в самих данных. Поэтому, когда я пытаюсь импортировать эти данные, выдается ошибка. Чтобы решить эту проблему, мне нужно указать терминатор строки во внешнем фор…
13 апр '17 в 22:46
0 ответов

Использование Azure SQLDW Polybase для загрузки данных из ADLS Gen 1 с использованием конечных точек службы vnet

Я пытаюсь использовать Polybase в хранилище данных SQL Azure (SQLDW) для загрузки данных (сохраненных в формате Parquet из кластера Hadoop в VNET) в хранилище озера данных Azure (ADLS), поколение 1. Процесс работает нормально, но пропускная способно…
22 ноя '18 в 06:21
1 ответ

Лучшие практики для реализации дополнительной загрузки данных в хранилище данных Azure и хранилище данных Azure

Я планирую внедрить Azure BI. Мне нужен совет специалиста о том, как реализовать добавочную загрузку данных с помощью озера данных Azure, хранилища данных Azure SQL, фабрики данных Azure + базы данных Poly. В каком формате мы должны хранить данные в…
10 авг '17 в 09:56
1 ответ

Отказано в соединении при подключении от polybase к hadoop

При попытке создать внешнюю таблицу из sql server 2017 в Hadoop в Ubuntu 16.04 выдает следующую ошибку Сообщение 105019, уровень 16, состояние 1, строка 1 Не удалось получить доступ к ВНЕШНЕМУ СТОЛУ из-за внутренней ошибки: "Возникла исключительная …
26 апр '18 в 07:39
0 ответов

Хранилище данных Azure: ошибка Polybase при загрузке из внешней таблицы (хранилище больших двоичных объектов)

Я получаю ошибку ниже при выполнении CTAS из внешнего стола в Azure Data Warehouse, Внешняя таблица указывает на хранилище BLOB-объектов. Данные в хранилище BLOB-объектов выводятся Stream Analytics работа каждые 10 секунд (TumblingWindow(секунда, 10…
19 янв '18 в 12:18
0 ответов

SQL Server 2016 telemetry_xevents в управлении -> расширенные события

Может кто-нибудь сказать мне, если отключение telemetry_xevents на SQL Server 2016 поможет улучшить производительность на сервере? Кроме того, что собирает это событие и как его можно использовать?
21 сен '17 в 19:35
1 ответ

Создание внешней таблицы в Azure SQL DW из хранилища BLOB-объектов Azure

Я создаю источник данных в Azure SQL DW для создания внешней таблицы с использованием данных хранилища больших двоичных объектов, но получаю ошибку при создании источника данных. Я новичок в этой среде, поэтому, пожалуйста, поделитесь своими мыслями…
28 янв '19 в 17:15