HttpWebReponse Cookies не устанавливаются для перенаправления

Question

Я пытаюсь сделать следующее:

1. отправить запрос GET для получения страницы входа в систему (которая запрашивает имя пользователя, пароль и устанавливает cookie)
2. создайте запрос POST, который отправляет файл cookie от #1 и тело имени пользователя / пароля (это возвращает Set-Cookie и перенаправляет на целевую страницу веб-сайта для зарегистрированных пользователей)

Моя проблема с редиректом 302. Веб-сервер возвращает 302 с Set-Cookie, но когда HttpWebRequests автоматически перенаправляет, он не передает обновленный cookie. Чтобы обойти это, я пытаюсь установить .AllowAutoRedirect = falseсохраняя куки в CookieCollection, а затем создавая третий HTTP-запрос: GET до конечного местоположения 302. К сожалению, я не могу установить куки по этому запросу. Я не уверен почему, и это сводит меня с ума.

HTTP-запросы, в порядке именованных запросов, postRequest, redirectRequest.

string loginGetUrl = "https://<..>/signin.htm";
string loginPostUrl = "https://<..>/j_acegi_security_check";
string loginRedirectUrl = "https://<..>/centraladmin/poslinks.htm";

string postData = String.Format("j_username={0}&j_password={1}", username, password);

CookieCollection cookies = new CookieCollection();
HttpWebRequest request = (HttpWebRequest)WebRequest.Create(loginGetUrl); 
request.CookieContainer = new CookieContainer();
request.CookieContainer.Add(cookies);
//Get the response from the server and save the cookies from the first request..
HttpWebResponse response = (HttpWebResponse)request.GetResponse();
cookies = response.Cookies;        

HttpWebRequest postRequest = (HttpWebRequest)WebRequest.Create(loginPostUrl);
postRequest.CookieContainer = new CookieContainer();

// Add the received Cookies from the HTTP Get
postRequest.CookieContainer.Add(cookies); 
postRequest.Method = WebRequestMethods.Http.Post;
postRequest.UserAgent = "Mozilla/5.0 (Windows NT 6.1) AppleWebKit/535.2 (KHTML, like Gecko) Chrome/15.0.874.121 Safari/535.2";
postRequest.AllowWriteStreamBuffering = false;
postRequest.ProtocolVersion = HttpVersion.Version11;
postRequest.AllowAutoRedirect = false;
postRequest.ContentType = "application/x-www-form-urlencoded";

byte[] byteArray = Encoding.ASCII.GetBytes(postData);
postRequest.ContentLength = byteArray.Length;
Stream newStream = postRequest.GetRequestStream(); //open connection
newStream.Write(byteArray, 0, byteArray.Length); // Send the data.
newStream.Close();

HttpWebResponse postResponse = (HttpWebResponse)postRequest.GetResponse();

// Save the cookies from the POST login request, then send them on to the redirected URL
cookies = postResponse.Cookies;

HttpWebRequest redirectRequest = (HttpWebRequest)WebRequest.Create(loginRedirectUrl);
redirectRequest.CookieContainer = new CookieContainer();

// add cookies from POST
redirectRequest.CookieContainer.Add(cookies);
HttpWebResponse redirectResponse = (HttpWebResponse)redirectRequest.GetResponse();

В redirectRequest.CookieContainer.Add(cookies);объект cookie содержит правильный файл cookie. Но когда я смотрю с Fiddler, я вижу только эту информацию:

GET https://<...>/centraladmin/poslinks.htm HTTP/1.1
Host: host:port

Сейчас я как бы бьюсь головой о стену. Какие-либо предложения? Я ссылаюсь на что-то не так? Осторожно, я обычно не пишу код на C#

Answer 1

Я не смог решить эту проблему самостоятельно, но нашел в этом блоге полезный фрагмент кода @malte-clasen. Код на Github, и я прикрепил его здесь для сохранения.

Я удалил асинхронные компоненты, поскольку это не было необходимо в моем коде.

using System;
using System.Collections.Generic;
using System.Linq;
using System.Net;
using System.Text;
using System.Threading.Tasks;

namespace DracWake.Core
{
    public class WebClient : IWebClient
    {
        private readonly CookieContainer _cookies = new CookieContainer();

        private HttpWebRequest CreateRequest(Uri uri)
        {
            var request = HttpWebRequest.CreateHttp(uri);
            request.AllowAutoRedirect = false;
            request.CookieContainer = _cookies;
            SetHeaders(request);
            var defaultValidator = System.Net.ServicePointManager.ServerCertificateValidationCallback;
            request.ServerCertificateValidationCallback =
                (sender, certificate, chain, sslPolicyErrors) =>
                    certificate.Subject.Contains("O=DO_NOT_TRUST, OU=Created by http://www.fiddler2.com")
                    || (certificate.Subject == "CN=DRAC5 default certificate, OU=Remote Access Group, O=Dell Inc., L=Round Rock, S=Texas, C=US")
                    || (defaultValidator != null && defaultValidator(request, certificate, chain, sslPolicyErrors));
            return request;
        }

        private async Task<string> DecodeResponse(HttpWebResponse response)
        {
            foreach (System.Net.Cookie cookie in response.Cookies)
            {
                _cookies.Add(new Uri(response.ResponseUri.GetLeftPart(UriPartial.Authority)), cookie);
            }

            if (response.StatusCode == HttpStatusCode.Redirect)
            {
                var location = response.Headers[HttpResponseHeader.Location];
                if (!string.IsNullOrEmpty(location))
                    return await Get(new Uri(location));
            }   

            var stream = response.GetResponseStream();
            var buffer = new System.IO.MemoryStream();
            var block = new byte[65536];
            var blockLength = 0;
            do{
                blockLength = stream.Read(block, 0, block.Length);
                buffer.Write(block, 0, blockLength);
            }
            while(blockLength == block.Length);

            return Encoding.UTF8.GetString(buffer.GetBuffer());
        }

        public async Task<string> Get(Uri uri)
        {
            var request = CreateRequest(uri);
            var response = (HttpWebResponse) await request.GetResponseAsync();
            return await DecodeResponse(response);
        }

        private void SetHeaders(HttpWebRequest request)
        {
            request.Accept = "text/html, application/xhtml+xml, */*";
            request.UserAgent = "Mozilla/5.0 (compatible; MSIE 10.0; Windows NT 6.2; WOW64; Trident/6.0)";
            request.ContentType = "application/x-www-form-urlencoded";
            request.Headers[HttpRequestHeader.AcceptLanguage] = "en-US,en;q=0.8,de-DE;q=0.5,de;q=0.3";
            request.Headers[HttpRequestHeader.AcceptEncoding] = "gzip, deflate";
            request.Headers[HttpRequestHeader.CacheControl] = "no-cache";
        }

        public async Task<string> Post(Uri uri, byte[] data)
        {
            var request = CreateRequest(uri);
            request.Method = "POST";
            request.GetRequestStream().Write(data, 0, data.Length);
            var response = (HttpWebResponse) await request.GetResponseAsync();
            return await DecodeResponse(response);
        }
    }
}

DecodeResponse решил мою проблему.