scrapy имеет статус ответа 400, но ответ браузера в порядке?
У меня странная ситуация,
У меня есть ссылка, которая работает на всех браузерах, которые у меня есть в настоящее время (chrome,IE,firefox), Я попытался просканировать страницу, используя scrapy в python, однако я получаю response.status == 400, Я использую tor + polipo ползать анонимно
response.body является:
<!DOCTYPE HTML PUBLIC "-//W3C//DTD HTML 4.01 Transitional//EN" "http://www.w3.org/TR/html4/loose.dtd">
<html><head>
<title>Proxy error: 400 Couldn't parse URL.</title>
</head><body>
<h1>400 Couldn't parse URL</h1>
<p>The following error occurred while trying to access <strong>https://exmpale.com/blah</strong>:<br><br>
<strong>400 Couldn't parse URL</strong></p>
<hr>Generated Thu, 11 Dec 2014 13:55:38 UTC by Polipo on <em>localhost:8123</em>.
</body></html>
Мне просто интересно, почему это так, может ли браузер получать результаты, но не scrapy?