Код для проверки наличия сайта в поисковых системах и каталогах

Question

В настоящее время я занимаюсь разработкой приложения на Rails, которое требует проверки того, был ли веб-сайт указан в Google, Bing, Yahoo, Yelp и Yellow Pages. Из моих исследований лучше всего проверить сайт: domain.com в Google и Bing, найти результаты и проверить в каталоге Yahoo для домена.

Есть ли другой способ сделать это? Я имею в виду некоторый фрагмент кода для проверки на домашней странице домена или использования их API или чего-то в этом роде. Также как проверить Yelp и Желтые страницы.

Answer 1

Вы можете использовать механизировать и писать веб-драйверы Google: выполните поиск в вашем домене с помощью этого слова в поисковом запросе.

site:checkmeout360.com
https://www.google.com/search?q=site%3A<SITE_NAME>.com

Попытайтесь увидеть, как yelp, yahoo, bing и желтые страницы выполняют индексацию. Затем вы можете использовать механизировать для автоматизации процесса поиска для вас, вы можете использовать механизировать, чтобы сделать поиск, как выше, с Google, а затем написать утверждения (проверьте, есть ли материал, который вы ищете, в результате поиска)

Answer 2

Поисковые системы не ценят автоматические запросы, которые отправляются на их пути.

Вот что Google должен сказать по этому поводу:

Условия использования Google не допускают отправку автоматических запросов любого рода в нашу систему без предварительного разрешения Google. Отправка автоматических запросов потребляет ресурсы и включает использование любого программного обеспечения (например, WebPosition Gold) для отправки автоматических запросов в Google, чтобы определить, как веб-сайт или веб-страница занимает место в результатах поиска Google по различным запросам. Помимо проверки рейтинга, другие типы автоматического доступа к Google без разрешения также являются нарушением наших Правил и Условий обслуживания для веб-мастеров.