Как вы предотвращаете индексацию сайта разработки?

Question

На данный момент мой сайт разработки индексируется с помощью поисковой выдачи. Я хочу предотвратить это. Я думал, что вы сможете включить тег: он не позволит ему следовать и индексироваться. Это должно быть на каждой странице ASP.NET? Конкретная страница? любая страница, которая использует мета-тег имени? Сайт очень большой, поэтому его вставка на каждую страницу может занять много времени. Я надеялся, что будет более быстрый метод?

Answer 1

Случай 1:

Если ваш сайт работает на Apache, а mod_headers включен (обычно это так), вы можете добавить в файл.htaccess следующую строку:

Header set X-Robots-Tag "noindex, nofollow"

Дело № 2:

Если ваш сайт не работает на Apache и вы хотите эффективно скрывать страницы от поисковых систем, вам нужно, чтобы они проиндексировали эти страницы (это может показаться противоречивым). Зачем? Потому что, когда они индексируют эти страницы, вы можете сказать им не перечислять их. с помощью мета-тегов роботов.

В этом случае (когда сервер не Apache) добавьте следующую строку ко всем вашим страницам (или только к вашей странице заголовка)

<meta name="robots" content="noindex,nofollow"/>

Последний шаг: работает ли ваш сайт на Apache или нет, создайте файл robots.txt и добавьте в него следующую строку:

Disallow: /