Разрешить Google индексировать ТОЛЬКО те страницы, которые я хочу

Question

У меня большой сайт (более 40 000 страниц), и я хочу минимизировать уровень страниц, которые индексирует Google, т.е. я хочу индексировать только 500 страниц.

Я могу только найти вариант страниц Noindex, и для меня на Noindex 39 500 страниц не имеет смысла.

Пример моего файла Robots.txt.

User-agent: *
Noindex:  /category/long-site-url-1/
Noindex:  /
Noindex:  /site-url-2/
Noindex:  /site-url-3/

Sitemap: https://sitedomain/sitemap.xml

Answer 1

Noindex в robots.txt это / было только экспериментальной функцией (и никогда не документировалось / не указывалось).

Вы должны добавить meta-robots элемент в HTML или отправить X-Robots-Tag заголовок в HTTP для каждой затронутой страницы:

<meta name="robots" content="noindex" />

X-Robots-Tag: noindex