HttpWebRequest форсирует новое соединение

Question

Я хочу загрузить большой файл с сервера с ограниченной передачей, используя несколько потоков с HttpWebRequest.AddRange(int, int), Проблема в том, что все мои потоки, кроме одного, блокируются в GetResponse(), вероятно, потому что они хотят повторно использовать соединение первого потока. Я установил для свойства KeepAlive запроса значение false и увеличил максимальный лимит одновременных соединений с ServicePointManager.DefaultConnectionLimit = 1000;

Забавно, иногда это работает. Это работает большую часть времени, если я использую 2 потока, иногда с 3, и я никогда не видел, чтобы он работал с 4 или более потоками.

Это часть моего кода, не очень важные части удалены, но данный фрагмент кода является непрерывным блоком в моем коде, и я ничего не удалил между комментариями.

for (int i=0; i < threadpool; i++)
{
    pool[i] = new Thread(new ParameterizedThreadStart((object id) =>
    {
        int myId = (int)(id);
        Console.WriteLine("StartThread " + myId);
        byte[] buffer = new byte[chunksize];

        while (currentChunk < chunks)
        {
            int myJob = -1;
            HttpWebResponse response = null;

            lock (currentChunkLock)
            {
                myJob = currentChunk++;
            }

            Console.WriteLine(myId + " GOT JOB " + myJob);
            HttpWebRequest request = MakeRangedRequest(url, myJob * chunksize, chunksize);
            Console.WriteLine(myId + " MADE REQUEST " + myJob);
            response = (HttpWebResponse)request.GetResponse();
            //They get all stuck here
            Console.WriteLine(myId + " GOT RESPONSE " + myJob);

            int totalCount = 0;
            int targetCount = (myJob + 1 == chunks) ? lastChunkSize : chunksize;
            Thread.Sleep(1);

            while (totalCount < targetCount)
            {
                //The only thread that passes is stuck here, it won't allow other threads to continue.
                int left = targetCount-totalCount;
                int count = response.GetResponseStream().Read(buffer, totalCount, left > 1024 ? 1024 : left);
                totalCount += count;
                totalBytesSoFar += count;
                Console.WriteLine("READING " + myId + "/" + totalCount);
                Thread.Sleep(1);
            }
            response.Close();

            Console.WriteLine(myId + " READ BUFFER " + myJob);
            lock (file)
            {
                file.Seek(myJob * chunksize, SeekOrigin.Begin);
                file.Write(buffer, 0, chunksize);
                file.Flush();
            }
           Console.WriteLine(myId + " WRITE FILE " + myJob);

           Console.WriteLine("Current chunk: " + myJob + "/" + chunks + "\r");
           Console.WriteLine("Thread " + myId);
           Thread.Sleep(1);
        }

        Console.WriteLine("Thread " + myId + " out.");
        lock (threadsDonePool)
        {
            threadsDone++;
            if (threadsDone == threadpool)
            {
                file.Close();
                Console.WriteLine("File Closed.");
            }
        }
    }));
    pool[i].Start(i);
}

А вот и функция MakeRangedRequest:

static HttpWebRequest MakeRangedRequest(string url, int from, int size)
{
    HttpWebRequest request = (HttpWebRequest)WebRequest.Create(url);
    request.AddRange(from, from + size);
    request.KeepAlive = false;
    return request;
}

Я вынужден делать все это с использованием классов TCP? Было бы здорово придерживаться HttpWebRequest

Answer 1

Вы когда-нибудь пытались делать это асинхронно?

Пожалуйста, обратитесь к этому: Как использовать HttpWebRequest (.NET) асинхронно?

Надеюсь это поможет