Как добавить `nofollow, noindex` на все страницы в robots.txt?

Question

Я хочу добавить nofollow а также noindex на мой сайт, пока он строится. У клиента есть запрос, я использую эти правила.

Я в курсе

<meta name="robots" content="noindex,nofollow">

Но у меня есть доступ только к robots.txt файл.

Кто-нибудь знает правильный формат, который я могу использовать, чтобы подать заявку noindex, nofollow правила через robots.txt файл?

Answer 1

noindex и nofollow означает, что вы не хотите, чтобы ваш сайт сканировался в поисковой системе.

так просто поместите код в robots.txt User-agent: * Disallow: /

это означает noindex и nofollow.

Answer 2

Есть нестандартный Noindex поле, которое Google (и, вероятно, не другой потребитель) поддерживает в качестве экспериментальной функции.

Следуя спецификации robots.txt, вы не можете запретить индексирование или переход по ссылкам с robots.txt.

Для сайта, который все еще находится в разработке, еще не проиндексирован и не получает обратных ссылок со страниц, которые можно сканировать, достаточно использовать robots.txt:

# no bot may crawl 
User-agent: *
Disallow: /

Если страницы с сайта уже проиндексированы, и / или если на него ссылаются другие страницы, которые могут быть просканированы, вы должны использовать noindex, который может быть указан не только в HTML, но и как заголовок HTTP:

X-Robots-Tag: noindex, nofollow

Answer 3

• Noindex говорит поисковым системам не включать страницы в результаты поиска, но может переходить по ссылкам (а также может передавать PA и DA)
• Nofollow говорит ботам не переходить по ссылкам. Мы также можем объединить noindex с подписками на страницах, которые мы не хотим индексировать, но мы хотим перейти по ссылкам

Answer 4

Я только что прочитал эту ветку и подумал добавить идею.

В случае, если кто-то хочет разместить сайт в стадии строительства или разработки, недоступный для неавторизованных пользователей, я думаю, что эта идея безопасна, хотя требуется немного навыков ИТ.

В любой операционной системе есть файл "hosts", который работает как ручное хранилище записей DNS, заменяя собой онлайн-сервер DNS.

В Windows он находится в C:\Windows\System32\drivers\etc\hosts и дистрибутивах Linux (в том числе Android), я знаю, что он находится в /etc/hosts. Может в OSX то же самое.

Идея состоит в том, чтобы добавить запись вроде

xxx.xxx.xxx.xxx anyDomain.tld

в этот файл. Важно, чтобы домен был создан на вашем сервере / провайдере, но еще не отправлен на DNS-серверы.

Что происходит: пока домен создается на сервере, он будет отвечать на вызовы в этом домене, но никто другой (ни браузеры) в Интернете не узнает IP-адрес вашего сайта, кроме компьютеров, на которых вы добавили приведенный выше фрагмент в файл hosts.

В этой ситуации вы можете добавить изменение всем, кто заинтересован в просмотре вашего сайта (и имеет ваше разрешение), в конце концов, никто другой не сможет увидеть ваш сайт. Никакой сканер не увидит его, пока вы не опубликуете DNS в Интернете.

Я даже использую его для частного файлового сервера, которым пользуется моя семья.

Здесь вы можете найти подробное объяснение того, как редактировать файл hosts:https://www.howtogeek.com/howto/27350/beginner-geek-how-to-edit-your-hosts-file/