Запретить / кормить и / отслеживать на роботах WordPress, но Google все еще индексирует

Question

У меня проблема с сайтом и файлом robots.txt. Я получил Disallow для / feed и /trackback url на своих роботах, но по какой-то причине я все еще получаю на своем URL для веб-мастеров Google, например http://www.mydomain.net/year/month/post.html/feed и http://www.mydomain.net/year/month/post.html/trackback и я не знаю, как исправить это правильно. После этого мой сайт заходит в гости.

Кто-нибудь может мне помочь?

С уважением

Это мой robots.txt

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Allow: /wp-content/uploads/
Disallow: /trackback
Disallow: /?ref=
Disallow: /feed
Disallow: /comments/feed
Disallow: /feed/$
Disallow: /*/feed/$
Disallow: /*/feed/rss/$
Disallow: /*/trackback/$
Disallow: /*/*/feed/$
Disallow: /*/*/feed/rss/$
Disallow: /*/*/trackback/$
Disallow: /*/*/*/feed/$
Disallow: /*/*/*/feed/rss/$
Disallow: /*/*/*/trackback/$
Disallow: /?s= 
Disallow: /search

User-agent: Googlebot-Image
Allow: /

Sitemap: http://www.mydomain.net/sitemap.xml

Answer 1

С вашим файлом робота все в порядке, я думаю, вы неправильно поняли, как его использовать. Вы не можете предотвратить индексирование определенной папки, добавив регулярное выражение в файл робота, потому что robots.txt контролирует только активность сканера. Поэтому, чтобы предотвратить индексацию определенных страниц, вы должны использовать метатег robots.

Answer 2

Я думаю, что ваша проблема заключается в использовании символа подстановки * Это не обязательно просто использовать

Disallow: /feed/

То же самое относится ко всем другим использованиям дикого символа.

Также дикие символы не принимаются всеми поисковыми системами.

Вы можете попробовать один из средств проверки синтаксиса robots.txt для получения дополнительной помощи.