Типы запросов Googlebot

Question

Типы запросов Googlebot

Отправляет ли бот Google запросы HEAD и GET?

Мне интересно об этом, потому что я запускаю приложение Tornado, которое не поддерживает запрос HEAD, и у меня много 404 ошибок в консоли поиска Google.

Чтобы убедиться, что приложение Tornado не принимает запросы HEAD, я делаю:

curl -I example.com/this-url-exists

HTTP/1.1 404 Not Found
Date: Thu, 10 Mar 2016 08:49:07 GMT
Content-Type: text/html; charset=UTF-8
Content-Length: 7520
Connection: close
X-Ua-Compatible: IE=edge,chrome=1
Server: TornadoServer/4.2.1

Я подозреваю, что Googlebots делают то же самое для некоторых сканирующих.

Это может быть правильно?

0

http-headers web-crawler tornado googlebot google-crawlers

Источник

user1051624 10 мар '16 в 08:54

1 ответ

Решение

Другие вопросы по тегам http-headers web-crawler tornado googlebot google-crawlers

user2805033 10 мар '16 в 18:30 2016-03-10 18:30 · Accepted Answer · 2016-03-10 18:30

Насколько я знаю, робот Googlebot не отправляет запросы HEAD (как и сканеры других крупных поисковых систем). Но в любом случае, это 404 не вызвано тем фактом, что запрос является HEAD: отправка HEAD ресурсу, который его не поддерживает, возвращает код состояния 405, а не 404.