Запретить поисковым системам индексировать результаты локального поиска, но не страницу поиска

Question

Запретить поисковым системам индексировать результаты локального поиска, но не страницу поиска

Bingbot продолжает индексировать страницы результатов поисковой системы, поэтому я хочу:

Разрешить поисковым системам доступ ко всему в целом.
Разрешить поисковым системам индексировать search/ URL-адрес.
Запретить только поисковые запросы (search /? Q = пример) без блокировки самого поиска / URL.

Есть ли какие-либо противоречия со следующим кодом в отношении моих трех заявленных целей?

User-Agent: *
Allow: /
Disallow: /search/?

0

robots.txt bingbot

Источник

user606371 19 янв '18 в 05:47

1 ответ

Другие вопросы по тегам robots.txt bingbot

user520957 20 янв '18 в 22:46 2018-01-20 22:46 · Answer 1 · 2018-01-20 22:46

Установите каноническую ссылку на странице поиска с URL-адресом страницы поиска. Затем дайте Google некоторое время, чтобы навести порядок (до 6 месяцев, если есть много страниц или мало посещаемых страниц, чтобы покрыть все это). Все проиндексированные страницы с параметрами запроса будут перегруппированы под поисковой страницей и постепенно удалены из рейтинга.