Отключить сканирование поддомен Google Crawler

Я хотел бы знать, как я могу запретить Google сканирование моих поддоменов?

я сделал снимок моей папки веб-пространства. папка awesom media - это папка, в которой находится основной сайт www.awesom-media.de. папки

другие когда-то являются поддоменами. Что мне нужно, так это то, что Google не должен сканировать этот, но я не знаю как.

У меня нет файла robot.txt в медиа-папке awesom, но, как вы можете видеть в / part. и содержимое файла robot.txt User-agent: * Disallow:

и это все.

как я могу сказать Google не сканировать субдомены

Источник

1 ответ

Решение

В случае, если все ваши субдомены напрямую направляются в определенные папки (например, что-то вроде automagazin.awesom-media.de использует папку auto-magazin), просто поместите robots.txt с

User-agent: *
Disallow: /

во всех ваших папках для поддоменов, которые вы хотите запретить для Google. Я думаю, это auto-magazin а также future-magazin (а может и больше).

В настоящее время вы помещаете его в корневую папку, которую Google, вероятно, не видит вообще. Просто попробуйте загрузить [subdomain].awesom-media.de/robots.txt и посмотреть, загружает ли он robot.txt или нет.

Источник
Другие вопросы по тегам