В robots.txt разрешить сканирование только для поддоменов, а не подкаталога на виртуальном хостинге?

Question

Я просто изменил настройки DNS, чтобы папка /forum теперь является поддоменом вместо подкаталога. Если я сделаю файл robots.txt и скажу:

User-agent: *
Disallow: /forum

Будет ли это запрещать сканирование для подкаталога И субдомена?

Я хочу запретить сканирование подкаталога, но разрешить сканирование поддомена. Примечание: это на виртуальном хостинге, поэтому можно посещать как подкаталог, так и поддомен. Вот почему у меня есть эта проблема.

Итак, как я могу разрешить сканирование только для субдомена?

Answer 1

Это правильный путь, если вы хотите прекратить ползать. Но обратите внимание: если URL-адреса уже проиндексированы, они не будут удалены.

Я бы предпочел установить для всех страниц значение "noindex/follow" с помощью мета-тегов или, что еще лучше, "канонического тега", чтобы отправлять трафик поисковых систем на URL субдомена.

На указанном URL-адресе, например, "http://www.yourdomain.com/directoryname/post-of-the-day", используйте

<link rel="canonical" href="http://directoyname.yourdomain.com/post-of-the-day" />

Последний URL будет единственным в выдаче