Как удалить заголовок Google App Engine по умолчанию при получении URL-адреса?

Question

Я пытаюсь создать небольшое приложение на GAE, чтобы помочь мне управлять списком craigslist, в котором я заинтересован. Я хочу получить некоторые данные из этих списков из своего приложения, но каждый раз, когда я делаю это, я получаю 404 из craigslist.

После некоторого расследования выясняется, что мой код не является виновником: craigslist просматривает заголовки HTTP и систематически возвращает 404, когда находит "AppEngine-Google" в заголовке User-Agent!

Вы можете увидеть это с помощью curl:

curl http://sfbay.craigslist.org/

работает (возвращает страницу).

curl http://sfbay.craigslist.org/ --header "User-Agent: AppEngine-Google"

ничего не дает

Любая идея, как я мог бы удалить этот заголовок, который установлен по умолчанию GAE? Или другая идея, чтобы обойти проблему?

Answer 1

Не существует способа помешать App Engine идентифицировать себя при отправке исходящих запросов. Это для предотвращения злоупотреблений.

Если Craigslist решили занести в черный список App Engine, вам нужно поговорить с ними об этом, а не пытаться уклониться от него.