Предотвращает ли тег noindex то, что боты сканируют ссылки на странице?

Question

Если бы у меня была страница с тегом noindex <meta name="robots" content="noindex" />Я знаю, что эта страница не будет отображаться в результатах поиска.

Но будут ли по-прежнему сканироваться ссылки на странице?

Если я хочу, чтобы они сканировались, могу ли я установить что-то вроде <meta name="robots" content="noindex, follow" />, Это будет работать?

Answer 1

Тег noindex <meta name="robots" content="noindex" /> используется для предотвращения индексации страниц вашего сайта большинством поисковых роботов поисковых систем.

Сканеры не будут индексировать страницу, используя content="noindex, follow" тег, но будет пролистывать остальные страницы.

Вы можете найти более подробную информацию здесь: http://www.robotstxt.org/meta.html