Хешируйте URL в robots.txt и запрещайте что-то вроде /#foobar
URL хеша моего сайта индексируются Google. Когда я выполняю поиск в Google по своему сайту, все дополнительные ссылки Google (например, эти) были URL-адресами хэша. Я не хочу, чтобы они появлялись, поэтому я добавил их в свой robots.txt файл. Тем не менее, теперь результат показывает No information is available for this page. Learn why... для сайта. Как это:
Вот мой файл robots.txt:
User-agent: *
Disallow: /#foobar
Disallow: /#foobar2
Disallow: /#foobar3
Disallow: /#foobar4
Sitemap: https://www.example.com/sitemap.xml
Есть идеи? Заранее спасибо.