Если я отвечу на запросы о файле robots.txt с HTTP-кодом 418 АКА "Я чайник", это заставит меня не любить поисковые системы?

Question

У меня есть очень простое веб-приложение, которое работает в Canvas HTML5 и не имеет общедоступных файлов, которые должны индексироваться поисковыми системами (кроме HTML-файла на первой странице, который включает в себя обращения ко всем необходимым ресурсам). Как таковой, мне действительно не нужно robots.txt файл, так как они просто увидят общедоступные файлы и все.

Теперь, в шутку, я хочу возвращать ответ HTTP-418 AKA "Я чайник" каждый раз, когда веб-сканер запрашивает robots.txt, Тем не менее, если это приведет к тому, что меня обгонят с точки зрения моего местоположения в результатах поиска, то это не шутка, которая будет для меня очень полезной.

Кто-нибудь знает что-нибудь о том, как разные веб-сканеры будут реагировать на нестандартные (хотя в данном случае это технически стандартные) HTTP-коды?

Кроме того, на более серьезной ноте, есть ли причина иметь robots.txt файл с надписью "все индексируется!" вместо того, чтобы просто не иметь файл?

Answer 1

1. Наличие пустого файла robots.txt также сообщит сканерам, что вы хотите, чтобы весь ваш контент был проиндексирован. Есть allow директива для robots.txt, но она нестандартная и на нее не следует полагаться. Это хорошо, потому что он предотвращает накопление 404 ошибок в журналах доступа, когда поисковая система пытается запросить несуществующий файл robots.txt с вашего сайта.

2. Отправка нестандартных HTTP-кодов не является хорошей идеей, поскольку вы абсолютно не представляете, как поисковые системы будут на нее реагировать. Если они не принимают его, они могут использовать заголовок 404 в качестве запасного варианта, и это, очевидно, не то, что вы хотите, чтобы произошло. По сути, это плохое место, чтобы пошутить.