Проверка ошибок при использовании HttpClient для асинхронной загрузки файлов

Question

Этот вопрос является продолжением проблем с многопоточностью при использовании HttpClient для асинхронной загрузки файлов.

Чтобы передача файлов выполнялась асинхронно с использованием HttpClient, необходимо добавить HttpCompletionOption.ResponseHeadersRead в запрос SendAsync. Таким образом, когда этот вызов завершится, вы сможете определить, что все было в порядке с запросом и заголовками ответа, добавив вызов в EnsureSuccessStatusCode. Однако данные, возможно, все еще передаются в этот момент.

Как вы можете обнаружить ошибки, которые происходят после возвращения заголовков, но до завершения передачи данных? Как бы эти ошибки проявились?

Ниже приведен пример кода с точкой вопроса, отмеченной в строке 109) с комментарием: "// ***** ХОЧУ СДЕЛАТЬ БОЛЬШЕ ОШИБКИ, ПРОВЕРЯЯ ЗДЕСЬ **"

using System;
using System.Collections.Generic;
using System.IO;
using System.Net.Http;
using System.Threading.Tasks;

namespace TestHttpClient2
{
  class Program
  {
    /* Use Yahoo portal to access quotes for stocks - perform asynchronous operations. */

    static string baseUrl = "http://real-chart.finance.yahoo.com/";
    static string requestUrlFormat = "/table.csv?s={0}&d=0&e=1&f=2016&g=d&a=0&b=1&c=1901&ignore=.csv";

    static void Main(string[] args)
    {
      var activeTaskList = new List<Task>();

      string outputDirectory = "StockQuotes";
      if (!Directory.Exists(outputDirectory))
      {
        Directory.CreateDirectory(outputDirectory);
      }

      while (true)
      {
        Console.WriteLine("Enter symbol or [ENTER] to exit:");
        string symbol = Console.ReadLine();
        if (string.IsNullOrEmpty(symbol))
        {
          break;
        }

        Task downloadTask = DownloadDataForStockAsync(outputDirectory, symbol);
        if (TaskIsActive(downloadTask))
        {
          // This is an asynchronous world - lock the list before updating it!
          lock (activeTaskList)
          {
            activeTaskList.Add(downloadTask);
          }

        }
        else
        {
          Console.WriteLine("task completed already?!??!?");
        }
        CleanupTasks(activeTaskList);
      }

      Console.WriteLine("Cleaning up");
      while (CleanupTasks(activeTaskList))
      {
        Task.Delay(1).Wait();
      }
    }

    private static bool CleanupTasks(List<Task> activeTaskList)
    {
      // reverse loop to allow list item deletions
      // This is an asynchronous world - lock the list before updating it!
      lock (activeTaskList)
      {
        for (int i = activeTaskList.Count - 1; i >= 0; i--)
        {
          if (!TaskIsActive(activeTaskList[i]))
          {
            activeTaskList.RemoveAt(i);
          }
        }
        return activeTaskList.Count > 0;
      }
    }

    private static bool TaskIsActive(Task task)
    {
      return task != null
          && task.Status != TaskStatus.Canceled
          && task.Status != TaskStatus.Faulted
          && task.Status != TaskStatus.RanToCompletion;
    }

    static async Task DownloadDataForStockAsync(string outputDirectory, string symbol)
    {
      try
      {
        using (var client = new HttpClient())
        {
          client.BaseAddress = new Uri(baseUrl);
          client.Timeout = TimeSpan.FromMinutes(5);
          string requestUrl = string.Format(requestUrlFormat, symbol);

          var request = new HttpRequestMessage(HttpMethod.Post, requestUrl);
          var response = await client.SendAsync(request, 
            HttpCompletionOption.ResponseHeadersRead);
          response.EnsureSuccessStatusCode();

          using (var httpStream = await response.Content.ReadAsStreamAsync())
          {
            var timestampedName = FormatTimestampedString(symbol, true);
            var filePath = Path.Combine(outputDirectory, timestampedName + ".csv");
            using (var fileStream = File.Create(filePath))
            {
              await httpStream.CopyToAsync(fileStream);
            }
          }
          // *****WANT TO DO MORE ERROR CHECKING HERE*****
        }
      }
      catch (HttpRequestException ex)
      {
        Console.WriteLine("Exception on thread: {0}: {1}\r\n",
          System.Threading.Thread.CurrentThread.ManagedThreadId,
          ex.Message,
          ex.StackTrace);
      }
      catch (Exception ex)
      {
        Console.WriteLine("Exception on thread: {0}: {1}\r\n",
          System.Threading.Thread.CurrentThread.ManagedThreadId,
          ex.Message,
          ex.StackTrace);
      }
    }

    static volatile string lastTimestampedString = string.Empty;
    static volatile string dummy = string.Empty;

    static string FormatTimestampedString(string message, bool uniquify = false)
    {
      // This is an asynchronous world - lock the shared resource before using it!
      lock (dummy)
      //lock (lastTimestampedString)
      {
        Console.WriteLine("IN  - Thread: {0:D2} lastTimestampedString: {1}",
            System.Threading.Thread.CurrentThread.ManagedThreadId,
            lastTimestampedString);

        string newTimestampedString;

        while (true)
        {
          DateTime lastDateTime = DateTime.Now;

          newTimestampedString = string.Format(
              "{1:D4}_{2:D2}_{3:D2}_{4:D2}_{5:D2}_{6:D2}_{7:D3}_{0}",
                message,
                lastDateTime.Year, lastDateTime.Month, lastDateTime.Day,
                lastDateTime.Hour, lastDateTime.Minute, lastDateTime.Second,
                lastDateTime.Millisecond
                );
          if (!uniquify)
          {
            break;
          }
          if (newTimestampedString != lastTimestampedString)
          {
            break;
          }

          //Task.Delay(1).Wait();
        };

        lastTimestampedString = newTimestampedString;
        Console.WriteLine("OUT - Thread: {0:D2} lastTimestampedString: {1}",
            System.Threading.Thread.CurrentThread.ManagedThreadId,
            lastTimestampedString);

        return lastTimestampedString;
      }
    }
  }
}

Answer 1

Я скопировал и немного почистил соответствующий код.

var request = new HttpRequestMessage(HttpMethod.Post, requestUrl);
var response = await client.SendAsync(request,
    HttpCompletionOption.ResponseHeadersRead);
response.EnsureSuccessStatusCode();
using (var httpStream = await response.Content.ReadAsStreamAsync())
{
    var timestampedName = FormatTimestampedString(symbol, true);
    var filePath = Path.Combine(outputDirectory, timestampedName + ".csv");
    using (var fileStream = File.Create(filePath))
    {
        await httpStream.CopyToAsync(fileStream);
    }
}

Вопрос в том, что, если что-то пойдет не так во время чтения потока и копирования его в ваш файл?

Все логические ошибки уже были рассмотрены как часть цикла HTTP-запроса и ответа: сервер получил ваш запрос, он решил, что он действителен, он ответил успешно (часть ответа в заголовке), и теперь он отправляет вам запрос результат (часть тела ответа).

Единственные ошибки, которые могут возникнуть сейчас, это такие вещи, как сбой сервера, потеря соединения и т. Д. Я понимаю, что они проявятся как HttpRequestExceptionЭто означает, что вы можете написать код следующим образом:

try
{
    using (var httpStream = await response.Content.ReadAsStreamAsync())
    {
        var timestampedName = FormatTimestampedString(symbol, true);
        var filePath = Path.Combine(outputDirectory, timestampedName + ".csv");
        using (var fileStream = File.Create(filePath))
        {
            await httpStream.CopyToAsync(fileStream);
        }
    }
}
catch (HttpRequestException e)
{
    ...
}

Документация не говорит много, к сожалению. Справочный источник также не. Поэтому лучше всего начать с этого и, возможно, записывать в журнал все исключения, которые не являются HttpRequestException в случае, если есть другой тип исключения, который может быть сгенерирован во время загрузки тела ответа.

Answer 2

Если вы хотите сузить его до части, которая находится между прочитанным заголовком и прочитанным содержимым, вы фактически оставляете себя с асинхронным чтением буфера:

var httpStream = await response.Content.ReadAsStreamAsync();

Если вы посмотрите, что происходит внутри метода, вы увидите:

public Task<Stream> ReadAsStreamAsync()
{
    this.CheckDisposed();
    TaskCompletionSource<Stream> tcs = new TaskCompletionSource<Stream>();
    if (this.contentReadStream == null && this.IsBuffered)
    {
        this.contentReadStream = new MemoryStream(this.bufferedContent.GetBuffer(),
                                                  0, (int)this.bufferedContent.Length,
                                                  false, false);
    }
    if (this.contentReadStream != null)
    {
        tcs.TrySetResult(this.contentReadStream);
        return tcs.Task;
    }
    this.CreateContentReadStreamAsync().ContinueWithStandard(delegate(Task<Stream> task)
    {
        if (!HttpUtilities.HandleFaultsAndCancelation<Stream>(task, tcs))
        {
            this.contentReadStream = task.Result;
            tcs.TrySetResult(this.contentReadStream);
        }
    });
    return tcs.Task;
}

CreateContentReadStreamAsync тот, кто все читает, внутренне LoadIntoBufferAsync, который вы можете найти здесь.

В основном, вы можете видеть, что это инкапсулирует IOException а также ObjectDisposedExceptionили ArgumentOutOfRangeException Это буфер больше, чем 2 ГБ (хотя я думаю, что это будет очень редко).