Googlebot CSS / JS / Изображения, но не проиндексированы
Как и некоторые из вас, мы получили письма от инструментов веб-мастеров Google о файлах CSS и JS, которые были "заблокированы" для их сканера, поэтому нам пришлось разрешить их в robots.txt. Здесь нет проблем.
Но теперь GoogleBot нужен доступ к изображениям, но мы не хотим, чтобы они были проиндексированы в поиске картинок Google. Так есть ли способ позволить GoogleBot получить к ним доступ, но не проиндексировать их?
Спасибо
1 ответ
Добавлять
Disallow: /images
на ваш robots.txt файл. Robots.txt - это то, что вы используете для управления тем, что индексируется не только Google, но и любым законным ботом (так как они ищут этот файл).
Это помешает индексации, но я не уверен, что вы подразумеваете под "разрешить доступ". Отрендеренные страницы будут по-прежнему содержать изображения, поэтому любой снимок или предварительный просмотр должны быть в порядке.
Обновить
Вы правы, вы указали, что не хотите, чтобы они были заблокированы, но вы не хотите, чтобы они были проиндексированы.
Для этого вам нужно использовать noindex, Google предлагает добавить это в ваш файл роботов:
User-agent: Googlebot-Image
Disallow: /