ASP.Net, как разрешить поисковым роботам (Google) пропускать страницу отказа от ответственности

Я создаю сайт ASP.NET, который заставляет пользователей принять отказ от ответственности. Когда они принимают отказ от ответственности, устанавливается cookie и сессия. На каждом запросе страницы запускается проверка, чтобы увидеть, присутствует ли сеанс или cookie.

Мы хотим, чтобы Google и другие поисковые роботы индексировали / сканировали все страницы без принятия заявления об отказе.

Каков наилучший способ сделать это? Единственное, о чем я могу думать, это проверка в Request.ServerVariables, но я не уверен, какие ценности мне следует искать?

Источник

2 ответа

Решение

Вам нужно обойти проверку сеанса / куки в случае, если робот Google проходит мимо.

Так что в этой проверке вам действительно нужно взглянуть на ServerVariables. Например, для Google это было бы что-то вроде

   HttpContext.Current.Request.ServerVariables["HTTP_USER_AGENT"].Contains("Googlebot"))

Конечно, любой, кто притворяется гуглом, теперь также сможет пропустить отказ от ответственности.

Я бы не назвал это уловкой - но нет никаких гарантий, нравится ли Google это или нет

Источник

Для этого вы должны добавить метатеги, иначе запретите доступ с помощью метатегов web.config

<meta name="robots" content="noindex nofollow">

специально для Google это

<meta name="googlebot" content="noindex">

Также вы можете попробовать услугу запроса на удаление URL

Источник
Другие вопросы по тегам