Почему Bingbot и Google Bot ищут папку Robots.txt?
Наш файл robots.txt содержит только это:
User-Agent: *
Disallow: /
Тем не менее, мы часто получаем следующие ошибки. Не уверен, почему и Bingbot, и Googlebot ищут папку Robots.txt
IP: 207.46.13.42
HTTP status code: 404
URL: http://www.website.net/robots.txt/
User Agent: Mozilla/5.0 (compatible; bingbot/2.0; +http://www.bing.com/bingbot.htm)
The following error occurred:
The controller for path '/robots.txt/' was not found or does not implement IController.
IP: 66.249.74.48
HTTP status code: 404
URL: http://www.website.net/robots.txt/
User Agent: Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html)
The following error occurred:
The controller for path '/robots.txt/' was not found or does not implement IController.
Мы можем обойти это, но вопрос в том, почему эти основные боты пытаются найти эту папку? Целью нашего файла robots.txt является предотвращение сканирования сайта роботами. Из каждого примера, который существует в Интернете, мы правильно настроили файл robots.txt, чтобы выполнить это, но мы все еще сталкиваемся с этими ботами, пытающимися получить доступ к папке, которая не существует, и MVC пытается обработать ее, вызывая исключение.