Вставьте массив объектов или CSV-файл в таблицу Kusto

Question

Невозможно вставить данные из массива объектов или CSV-файла в таблицу Kusto

Моя цель - создать в DevOps Azure конвейер, который считывает данные с помощью PowerShell и записывает их в таблицу Kusto.

Мне удалось записать данные, которые я прочитал из PowerShell, в объектный массив или файл CSV, но я не могу понять, каким образом эти данные могут быть вставлены в таблицу Kusto.

Может ли кто-нибудь предложить лучший способ записать данные в Кусто

Answer 1

Одним из вариантов будет запись полезной нагрузки CSV в хранилище больших двоичных объектов, а затем вставка этого большого двоичного объекта в целевую таблицу:

1. использование клиента "в очереди" в одной из клиентских библиотек: https://docs.microsoft.com/en-us/azure/kusto/api/
   • обратите внимание, что клиентская библиотека.NET также предоставляет вам методы для IngestFromStream или же IngestFromDataReader, которые обрабатывают запись данных в промежуточное хранилище больших двоичных объектов, так что вам не нужно

или

2. выдача .ingest Команда: https://docs.microsoft.com/en-us/azure/kusto/management/data-ingestion/ingest-from-storage. хотя использование "направления приема" менее рекомендуется для объемов производства

другой вариант (не рекомендуется для объема производства), будет использовать .ingest inline (AKA "глотать толчок"): https://docs.microsoft.com/en-us/azure/kusto/management/data-ingestion/ingest-inline

например:

.create table sample_table (a:string, b:int, c:datetime)

.ingest inline into table sample_table <|
hello,17,2019-08-16 00:52:07
world,71,2019-08-16 00:52:08
"isn't, this neat?",-13,2019-08-16 00:52:09

который добавит вышеуказанные записи в таблицу:

| a                 | b    | c                           |
|-------------------|------|-----------------------------|
| hello             |  17  | 2019-08-16 00:52:07.0000000 |
| world             |  71  | 2019-08-16 00:52:08.0000000 |
| isn't, this neat? | -13  | 2019-08-16 00:52:09.0000000 |