Как я могу предотвратить нерегулярное засорение Bing моего сайта трафиком?
Bingbot будет каждый день по несколько часов попадать на мой сайт, а остальное будет очень легким.
Я бы хотел сгладить сканирование, уменьшить ограничение скорости или полностью заблокировать его. Это действительно не посылает через реальных посетителей.
Есть ли способ, которым я могу сгладить его сканирование или ограничить скорость?
3 ответа
Их блог для веб-мастеров говорит, что они поддерживают добавление параметра crawl-delay в ваш файл robots.txt, чтобы ограничить работу bingbot.
User-agent: msnbot
Crawl-delay: 1
Там немного больше объяснений в веб-мастере FAQ PDF
Эти другие ссылки также могут быть полезны:
http://www.bing.com/toolbox/webmasters
http://www.bing.com/community/webmaster/f/12252/t/651373.aspx
Вы можете ограничить количество подключений от искателя до fi 5, установив IPTables, как это (требуется корневой доступ к брандмауэру):
настройка IPTables: iptables -I INPUT -p tcp -m connlimit --connlimit-выше 5 -j ОТКЛОНИТЬ
Это ограничивает количество соединений с каждого IP-адреса не более чем 5 одновременными соединениями. Этот тип "рационирует" соединения и не позволяет сканерам одновременно посещать сайт.
Вы можете забанить его IP используя HTACCESS.
order allow,deny
deny from 192.168.44.201
deny from 224.39.163.12
deny from 172.16.7.92
allow from all
Подробнее об этом вы можете прочитать здесь: Блог о блокировке ботов