Удалите временные файлы из хранилища данных Azure в конвейере Azure DataFactory (предпочтительно USQL)

Question

Мы используем AdLS (хранилище озера данных Azure) в качестве временного хранилища в нашем конвейере ADF (фабрика данных Azure - V2). Каков наилучший способ удалить данные, которые временно хранятся в ADLS?

U-SQL поддерживает только DDL, а не DML, поэтому не может удалять временные данные (файлы), хранящиеся в ADLS, с помощью ADLA(аналитика озера данных Azure)

Я планирую использовать метод DELETE "Веб-активность" ADF, но он использует токены, срок действия которых истекает, и я должен постоянно обновлять их.

Может кто-нибудь, пожалуйста, дайте мне знать, какие у нас есть варианты?

Answer 1

Лучший способ - использовать новую операцию удаления в ADF. В правом верхнем углу вашего интерфейса ADF вы можете найти раздел кода, щелкнуть здесь и написать синтаксис JSON для удаления действий (я не нашел виджет / значок удаления действий, поэтому мне нужно было написать непосредственно код JSON)

Вы можете проверить синтаксис здесь

Пример конвейера с активностью только удаления

{
"name": "DeleteFilePipeline",
"properties": {
    "activities": [
        {
            "name": "DeleteActivity",
            "type": "Delete",
            "policy": {
                "timeout": "7.00:00:00",
                "retry": 0,
                "retryIntervalInSeconds": 30,
                "secureOutput": false,
                "secureInput": false
            },
            "typeProperties": {
                "dataset": {
                    "referenceName": "deleteTest",
                    "type": "DatasetReference"
                },
                "enableLogging": false,
                "maxConcurrentConnections": 1
            }
        }
    ]
}

}

Набор данных deleteTest - это набор данных Gen1 озера данных Azure.