Стратегии идентификации трафика ботов
Боты. Ненавижу их.
Что мне нужно сделать Как и все остальные, я хочу подсчитать, сколько раз фрагменты контента показываются или отображаются в виде ссылок без искусственного завышения этих чисел веб-ботами.
Почему мы не можем просто полагаться на Google Analytics GA, хорошо справляясь с проверкой чисел, о которых они сообщают, однако они сообщают только основной URL-адрес, а не "связанные элементы", поскольку "связанные элементы" различаются для каждого просмотра страницы / для пользователя Мы должны отслеживать их сами.
GA - хороший стандарт, по которому мы можем сопоставить наши цифры, но это все.
Что я сделал до сих пор
- Пользователи, прошедшие проверку подлинности, не испытывают затруднений
- Приложения отслеживают известных ботов
- Ночные свертки работ тралят наши журналы в поисках следующих сигналов:
- Устойчивые пакеты запросов (высокие страницы в секунду в течение более x секунд)
- Блоки запросов Блоки IP-адресов (xyz245, .246, .247, .248 и т. Д. Не могут одновременно совпадать с нашим контентом)
- Схема целевой страницы + запросы для каждой страницы по порядку, в быстрой последовательности (люди редко читают каждую статью, и не так быстро)
Что я ищу Не расплывчатый совет, а действенные алгоритмы, или лучшие практики, или статьи, которые описывают, как подходы были фактически реализованы, по крайней мере с некоторыми фрагментами псевдокода. Я не ожидаю получить серебряную пулю, но я знаю, что есть способы решения этой проблемы, которых я не видел. Мне просто нужно посмотреть хорошую белую книгу или что-то в этом роде.
То, что я видел миллион раз
- "Наша компания реализует многоуровневый подход с проблемами браузера и внутренней аналитикой, и тому подобное" Звучит здорово, я уверен, что инвесторам это понравилось, как насчет реального примера?
- Так устал от CIO-Speak. "Мы помещаем скрытые поля в наши формы, это называется honeypot!"
Все, что действительно действенно, будет с благодарностью оценено!!!