Инкрементные нагрузки в Polybase

Question

Я создал ВНЕШНЮЮ ТАБЛИЦУ для PolyBase для загрузки данных из хранилища больших двоичных объектов в хранилище данных SQL Azure. У меня есть ниже вопросы, касающиеся загрузки файла.

1) Если происходит постепенный рост данных, то как будет работать PolyBase. Если есть ежедневный образец файла, как

test_2019_02_01.incr
test_2019_02_02.incr

тогда нам нужно каждый раз создавать и создавать внешние таблицы. если нет, то как мне сделать эту работу

CREATE EXTERNAL TABLE [dbo].[sample]
 (
 [social] varchar(30) NOT NULL,
 [address] varchar(30) NOT NULL
 )
 with (
 LOCATION='/TEST/',
 DATA_SOURCE=POLYTEST,
 FILE_FORMAT=POLY_TEST_HEADER,
 REJECT_TYPE=VALUE,
 REJECT_VALUE=0
 )

2) Можно ли писать сценарии UNIX в хранилище больших двоичных объектов PolyBase Azure?

Пожалуйста, поделитесь своими мыслями по этому вопросу.

Answer 1

Вы можете создать таблицу в хранилище данных SQL Azure, в которой будут находиться данные, поступающие из файлов, затем создать список файлов, находящихся в хранилище Azure, и проходить по этому списку, создавая и удаляя внешнюю таблицу для каждого элемента в списке, Вы можете пометить каждый элемент, уже обработанный. Каждый раз, когда вы создаете внешнюю таблицу, вы загружаете данные в таблицу хранилища данных Azure, а затем удаляете внешнюю таблицу. Здесь вы найдете полный пример.