Bingbot игнорирует robots.txt и пытается получить трафик на основе spsitemap.xml

У меня есть приложение, содержание которого не должно быть публично проиндексировано. Поэтому я запретил доступ всем сканерам.

robots.txt:

# Robots shouldn't index a private app.
User-agent: *
Disallow: /

Тем не менее, Бинг игнорирует это и ежедневно просит /trafficbasedsspsitemap.xml файл, который мне не нужно создавать.

У меня также нет необходимости ежедневно получать 404 уведомления об ошибках для этого файла. Я хотел бы просто убрать бинбота, так что мне нужно сделать, чтобы запретить ему делать запросы?

Источник

2 ответа

Решение

Согласно этому ответу, это проверка Bingbot для карты сайта XML, созданной плагином Bing Sitemap для IIS и Apache. Очевидно, он не может быть заблокирован файлом robots.txt.

Источник

Для тех, кто приходит с Google-

Вы можете заблокировать ботов с помощью директив обнаружения / перезаписи пользовательского агента apache, что позволит вам полностью исключить bingbot. https://superuser.com/questions/330671/wildcard-blocking-of-bots-in-apache

Заблокируйте все боты / сканеры / пауки для специального каталога с помощью htaccess

и т.п.

Источник
Другие вопросы по тегам