Описание тега googlebot
Googlebot - это робот Google для сканирования веб-страниц, который обнаруживает новые и обновленные страницы / документы в Интернете для создания индекса с возможностью поиска для поисковой системы Google.
Googlebot - это имя поискового робота Google. В зависимости от службы, выполняющей сканирование, робот Googlebot может отображать разные имена пользовательских агентов.