Как определить, является ли веб-посетитель роботом?
Есть ли на сайте ASP способ узнать, является ли посетитель роботом?
Я думаю, что может быть параметр в ServerVariables Коллекция, которая может быть использована, аналогично HTTP_X_FORWARDED_FOR а также REMOTE_ADDR может быть использован для получения IP-адреса посетителя.
Поиски в Google пока что приводят к небольшому количеству потенциальных клиентов.
Спасибо за вашу помощь.
3 ответа
Пуленепробиваемого метода не существует, потому что заголовки и происхождение могут быть подделаны.
Если посетитель заходит на robots.txt, это скорее всего паук. Если в информации о хосте или пользовательском агенте ничего нет, или при посещении нет ссылок на URL или изменения IP-адреса или если строки журнала появляются вместе в непрерывном блоке в файле журнала, то это, скорее всего, трафик робота.
Спасибо