Как не индексировать конкретные URL-адреса?
Я искал, как не индексировать конкретные URL-адреса, но я не нашел какой-либо конкретной информации о следующем.
Добавив ниже
<?php if(is_single(X)): ?>
<meta name="robots" content="noindex,nofollow">
<?php endif; ?>
Я не смог бы индексировать (X), где X мог бы быть идентификатором поста, заголовком поста "Hello World", например, или слагом поста "hello-world".
Будет ли возможно указать все URL, которые начинаются с того же пост-слага или заголовка, например, как в примере ниже?
www.test.com/REF-123-mytest.html
www.test.com/REF-123-yourtest.html
www.test.com/REF-123-histest.html
Могу ли я пропустить все URL, которые начинаются с REF-123, например?
2 ответа
Используя robots.txtВы можете запретить ползать.
Используя meta-robots (или заголовок HTTP X-Robots-Tag), вы можете запретить индексацию.
Если вы намереваетесь запретить индексирование, вам не следует запрещать URL-адреса в файле robots.txt, иначе боты никогда не узнают, что вы не хотите, чтобы эти URL-адреса были проиндексированы.
Если вы хотите запретить сканирование, вы можете использовать этот файл robots.txt:
User-agent: *
Disallow: /REF-123
Это относится ко всем URL, чьи пути начинаются с REF-123 (с учетом регистра!).
Если вы хотите запретить индексирование, вы можете добавить ко всем этим страницам meta элемент
<meta name="robots" content="noindex">
или отправьте соответствующий заголовок HTTP X-Robots-Tag:
X-Robots-Tag: noindex
Вы можете добавить это правило в файл robots.txt:
Disallow: www.test.com/REF-123*