Как читать файлы из озера данных Azure и отображать эти файлы в Angular-2?
Мне нужно прочитать файлы из озера данных Azure, и я должен отобразить эти файлы в компоненте Angular-2. но я получаю только свойства файла из озера данных Azure при использовании метода List File Status(). но мне нужен файл с контентом. Как прочитать все файлы с содержимым из Azure Data Lake. Я перечисляю все статусы файлов, используя код ниже.
listOfFiles = ListItems(pathOfFolder);
var stTime = new DateTime();
foreach (var file1 in listOfFiles) {
var srcPath = pathOfFolder + "/" + file1.PathSuffix;
using (var stream = adlsFileSystemClient.FileSystem.Open(_adlsAccountName, srcPath)) {
using (var fileStream = new FileStream(destPath, FileMode.Create))
{
stream.CopyTo(fileStream);
listOfStreams.Add(fileStream);
}
}
}
Но это даст список файловых потоков, и это займет много времени. Есть ли способ получить все файлы с контентом.?
1 ответ
Не существует API, который получит все файлы и их содержимое за один раз. Как можно себе представить, папка может содержать миллионы файлов, каждый из которых может содержать терабайты данных. Один вызов REST не может надежно вернуть перечисление, а также содержимое такого большого набора данных.
То, как вы делаете это правильный путь.