Как установить файлы Robots.txt для поддоменов?

Question

У меня есть поддомен, например blog.example.com, и я хочу, чтобы этот домен не индексировался Google или любой другой поисковой системой. Я поместил мой файл robots.txt в папку "блог" на сервере со следующей конфигурацией:

User-agent: *
Disallow: /

Было бы хорошо, чтобы не индексировать по Google?

За несколько дней до моего сайта:blog.example.com показывает 931 ссылку, но теперь он отображает 1320 страниц. Мне интересно, если мой файл robots.txt правильный, тогда почему Google индексирует мой домен.

Если я делаю что-то не так, пожалуйста, поправьте меня.

Answer 1

Рахул,

Не уверен, что ваш robots.txt дословно, но обычно директивы находятся в двух строках:

User-agent: *
Disallow: /

Этот файл должен быть доступен по http://blog.example.com/robots.txt - если он не доступен по этому URL, паук поисковой системы не найдет его.

Если у вас есть страницы, которые уже были проиндексированы Google, вы также можете попробовать использовать Инструменты Google для веб-мастеров, чтобы вручную удалить страницы из индекса.

Answer 2

Этот вопрос на самом деле о том, как предотвратить индексацию поддомена, здесь ваш файл robots фактически предотвращает индексацию вашего сайта.

Не используйте файл robots.txt, чтобы скрыть свои веб-страницы от результатов поиска Google.

Введение в robots.txt: для чего используется файл robots.txt?Центральная документация поиска Google

Чтобы директива noindex действовала, страница или ресурс не должны быть заблокированы файлом robots.txt и должны быть доступны для поискового робота. Если страница заблокирована файлом robots.txt или сканер не может получить к ней доступ, он никогда не увидит директиву noindex, и страница все равно может отображаться в результатах поиска, например, если на нее ссылаются другие страницы.

Блокировка индексации поиска с помощью noindex Центральная документация поиска Google