Скрыть файлы из пользовательского поиска Google
Я использую систему пользовательского поиска Google (CSE) на своем веб-сайте. Я нашел несколько файлов, которые не хочу появляться в результатах поиска. Файлы являются файлами AJAX.
Пример: mywebsite.com/Templates/ajax/guides.php/....
У меня есть файл robots.txt и добавил Disallow: /templates/ajax/
к этому.
Я очистил кэш и снова попытался выполнить поиск, но страницы все равно появились. Я тоже пробовал <meta name="robots" content="noindex">
в моем <head>
файла, но это тоже не сработало. Какие еще решения я мог бы попробовать?