Как скрыть Robots.txt в результатах поиска?
Я не хочу видеть Robots.txt в списке результатов поиска. Я работаю над проектом asp.net.
Я нашел несколько неудачных решений, одно из которых показано ниже:
- Использование "X-Robots-Tag" в заголовке.
Но я хочу скрыть текстовый файл, чтобы в нем не было части заголовка.
Спасибо за помощь.
2 ответа
Использование заглавных букв важно для большинства популярных поисковых систем, включая Google ( источник). Измените имя вашего файла с Robots.txt в robots.txt, Если вы назовете его правильно, большинство популярных поисковых систем (Bing, Yahoo, Google и т. Д.) Не будут индексировать его. Никаких дополнительных усилий с вашей стороны.
Вот справка сканера Yahoo, которая описывает чувствительность к регистру.
Вот стандарт, который описывает общую любезность сканеров в отношении robots.txt. В явном виде указано, что пустые файлы robots.txt полностью игнорируются, и здравый смысл заключается в том, что они не индексируются. В противном случае мы бы увидели миллиарды результатов поиска robots.txt в Google.
TXT-файл, отправленный через http, имеет заголовок (содержащий тип:text/plain), просто примите запрос и отправьте txt со своими собственными заголовками.