IIS настроил ботов, которые влияют на результаты поиска

Question

Это сложно объяснить. Я считаю, что бот Google запутывается из-за способа настройки iis / сайтов. Фактическая проблема заключается в том, что при поиске в Google, и в результате www.someSiteURL.com описание ниже:

Описание этого результата недоступно из-за robots.txt этого сайта - узнайте больше.

Я думаю, что причина проблемы достаточно ясна. Используя приведенный выше пример, на странице www.someSiteURL.com/default.asp отсутствует содержимое страницы. На этом уровне имеется файл default.asp с целой кучей переадресаций, которые ведут пользователя к нужному физическому каталогу, где находятся сайты. Все сайты живут под одним корневым "сайтом" в IIS следующим образом:

siteOneDir
siteTwoDir  
siteThreeDir
default.asp (this is the page with the redirects)

Как вы можете преодолеть это, не изменяя настройки сайта / использование IP-адресов?

Вот файл robots.txt:

User-agent: *
Allow: /default.asp
Allow: /siteOneDir/
Allow: /siteTwoDir/
Allow: /siteThreeDir/
Disallow: / 

Кстати, инструмент для веб-мастеров Google говорит, что это действительно. Я знаю, что некоторые клиенты могут не распознавать "Разрешить", но Google и Bing делают это, поэтому меня это не волнует. Я бы предпочел запретить все, затем разрешать только сайты, а не использовать их только для запрета определенных сайтов.

Если я использую инструмент для веб-мастеров Google Crawl > Fetch a Google и введите www.someSiteURL.com/default.asp, он будет иметь статус "Перенаправлен" и его статус будет http/1.1 302 найдено

Answer 1

Я считаю, что порядок элементов в файле robot.txt имеет значение. Попробуйте поставить сначала запрет, т.е. изменить на:

User-agent: *
Disallow: /
Allow: /default.asp
Allow: /siteOneDir/
Allow: /siteTwoDir/
Allow: /siteThreeDir/