Роботы Исключая URL со специальным символом
Ищите рекомендации относительно robots.txt, и мы не хотим ошибаться в исключении всего сайта
Подходит ли приведенная ниже команда для исключения всех URL с обратным слешем, закодированных в URL
Disallow: /*\
Исключит ли это только то, что URL имеет обратную косую черту или%22 в пути URL сайта. Некоторые страницы были проиндексированы с обратной косой чертой и дублированы в Google для веб-мастеров.
Вышеприведенная команда не мешает и не блокирует сайт для поисковых систем каким-либо образом, кроме URL с обратной косой чертой
1 ответ
Чтобы обновить, мы решили это, применив 301 перенаправление через htaccess, а не блокируя через robots.txt