Блокировать определенные адреса от сканирования Robots.txt
Меня попросили (для улучшения результатов SEO) удалить определенный веб-адрес из Robots.txt.
Я изо всех сил (SEO не моя сильная сторона), чтобы выяснить, как заблокировать определенный домен, хотя оба адреса указывают на один и тот же сайт.
Например:
http://foo.example.com/ - веб-адрес, который мне нужен, чтобы не быть проиндексированным
http://www.examplefoo.com/ - веб-адрес, который я хочу проиндексировать
Из того, что я могу сказать, использование запрета / будет блокировать только от обоих (так как это один и тот же сайт)
Любая помощь?! Извините, если это глупый вопрос..
1 ответ
Шаг 1. Если ваш первый домен работает, вы должны перенаправить его на второй домен.
Образец (ширина htaccess):
RewriteCond %{HTTP_HOST} ^www.xxx.ir$ [NC,OR]
RewriteCond %{HTTP_HOST} ^xxx.ir$ [NC,OR]
RewriteCond %{HTTP_HOST} ^yyy.com$ [NC]
RewriteRule ^(.*)$ http://www.yyy.com/$1 [R=301,L]
Шаг 2: Вы должны удалить все URL-адреса (из первого домена), удалив URL-адреса в инструментах для веб-мастеров (каталог all)
удачи