Google все равно проиндексировал мой домен?

Question

У меня есть robots.txt, как показано ниже, но Google все еще проиндексировал мой домен. В основном они проиндексировали mydomain.com, но не mydomain.com/any_page

UserAgent: *
Disallow: /

Я имею в виду, как я могу вернуться дальше, чем / который я думал был корнем домена?

Обратите внимание, что этот домен находится в стадии разработки, поэтому я не хочу, чтобы Google или другие поисковые системы видели его в течение минуты.

Answer 1

Если у вас его еще нет, создайте аккаунт Инструментов Google для веб-мастеров. Он включает в себя инструмент для удаления URL, который может работать для вас.

Это не решает проблему поисковых систем, возможно, игнорирующих или неверно истолковывающих ваш файл robots.txt, конечно.

Если вы ДЕЙСТВИТЕЛЬНО хотите, чтобы ваш сайт не транслировался до его запуска, вам лучше всего его отключить. Сделать сайт недоступным, кроме как по паролю. Если вы добавите аутентификацию HTTP Basic в documentroot, то ни одна поисковая система не сможет ничего индексировать, но у вас будет полный доступ с паролем.