Как запретить Google индексировать сайт?

Question

Мой клиент попросил меня запретить ботам Google индексировать веб-сайт, поэтому я добавил следующую мету в заголовок моего основного слоя, который (теоретически) является заголовком всех страниц:

<meta name="googlebot" content="noindex">

Это должно помешать Google проиндексировать любые страницы, однако это не мешает. Видимо, мой клиент как-то заметил, что боты Google все еще индексируют сайт (я не знаю, откуда он знает, что Google все еще индексирует сайт, потому что, как обычно, клиенты не слишком описательны), поэтому кажется, что это не решает проблему,

На самом деле я хотел запретить Google индексировать сайт, добавив мету в заголовок моего шаблона, используемого на всех страницах. Почему Google все еще недостаточно, чтобы предотвратить индексацию сайта? Как мне решить проблему?

Большое спасибо.

Answer 1

TL;DR: Google может случайно игнорировать метатег, который вы добавили на сайт. Если вы недавно добавили метатег, он будет следовать за ним, когда бот перезапишет веб-сайт. Если вы хотите избавиться от всех поисковых роботов, а не просто использовать Google <meta name="robots" content="noindex">

Вот официальный ответ от Google -

"Обратите внимание, что поскольку мы вынуждены сканировать вашу страницу, чтобы увидеть метатег noindex, существует небольшая вероятность того, что робот Google не увидит и не учитывает метатег noindex. Если ваша страница по-прежнему отображается в результатах, возможно, это из-за того, что у нас нет не сканировал ваш сайт с тех пор, как вы добавили тег. (Кроме того, если вы использовали файл robots.txt для блокировки этой страницы, мы также не сможем увидеть тег).

Если в настоящее время контент находится в нашем индексе, мы удалим его после следующего сканирования. Чтобы ускорить удаление, воспользуйтесь инструментом запроса на удаление URL в Инструментах Google для веб-мастеров."

Также обратите внимание, что ваш клиент может спутать бота Google с другим ботом веб-сканера. В этом случае я рекомендую добавить:

<meta name="robots" content="noindex"> 

К HTML-документу, чтобы ни один веб-сканер не мог проиндексировать сайт, а не только googlebot.

Answer 2

Я всегда делал <meta name="robots" content="noindex">,

Вы можете посмотреть https://support.google.com/webmasters/answer/93710?hl=en и https://support.google.com/webmasters/answer/156449?hl=en&ref_topic=2370588 немного больше информации.

Причина, по которой ваши теги могут не работать, заключается в том, что у вас есть файл robots.txt, блокирующий Google от повторной индексации сайта.