Роботы Исключая URL со специальным символом

Ищите рекомендации относительно robots.txt, и мы не хотим ошибаться в исключении всего сайта

Подходит ли приведенная ниже команда для исключения всех URL с обратным слешем, закодированных в URL

 Disallow: /*\

Исключит ли это только то, что URL имеет обратную косую черту или%22 в пути URL сайта. Некоторые страницы были проиндексированы с обратной косой чертой и дублированы в Google для веб-мастеров.

Вышеприведенная команда не мешает и не блокирует сайт для поисковых систем каким-либо образом, кроме URL с обратной косой чертой

1 ответ

Чтобы обновить, мы решили это, применив 301 перенаправление через htaccess, а не блокируя через robots.txt

Другие вопросы по тегам