robots.txt - изображения noindex, администратор noindex - wordpress

Question

В настоящее время я использую файл robots.txt, который запрещает индексирование моего WP Admin. В настоящее время мой файл роботов выглядит так:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

Я хотел бы, чтобы поисковые системы также перестали индексировать мои изображения. Это мои личные изображения портфолио, и я не хочу, чтобы они появлялись в любом онлайн-поиске.

Поэтому я добавлю ограничение для ботов Google Image и Bing. Мой файл Robots.txt теперь будет выглядеть так:

User-agent: *
Disallow: /wp-admin/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Disallow: /

User-agent: msnbot-media
Disallow: /

Это правильно написано? Любые другие предложения? Есть ли какие-нибудь другие боты-изображения, которые я должен включить?

Answer 1

Ваш текущий макет верен, но есть всеохватывающий способ блокировать роботов при сканировании ваших изображений.

Видя, что вы используете WordPress, я предполагаю, что вы используете обычную структуру загрузки файлов, что означает, что вы также можете добавить следующее в свой robots.txt:

User-agent: *
Disallow: /wp-content/uploads/

Я бы посоветовал вам использовать это в сочетании с тем, что у вас есть на данный момент, так как оно будет блокировать только изображения, которые находятся в папке загрузки. Это не будет работать для изображений непосредственно в вашем файле темы или содержимого плагина и т. Д.

Ваш полный список будет выглядеть так:

User-agent: *
Disallow: /wp-admin/
Disallow: /wp-content/uploads/
Allow: /wp-admin/admin-ajax.php

User-agent: Googlebot-Image
Disallow: /

User-agent: msnbot-media
Disallow: /

Поначалу этот маршрут может показаться примитивным, но имейте в виду, что существуют сотни сканеров. Создание правила для каждого из них, вероятно, вызовет довольно сильные головные боли.

Блокируя расположение 99,9% ваших изображений, вы устраняете необходимость перечисления каждого искателя, который можете найти, а также гарантируете немедленное добавление любых новых искателей в список, если они соответствуют вашему файлу robots.txt.,

На этом этапе также стоит упомянуть, что существует довольно много веб-сканеров, которые полностью игнорируют ваш файл роботов.