Каковы альтернативы теперь, когда API веб-поиска Google устарел?
API веб-поиска Google устарел и заменен API пользовательского поиска (см. http://code.google.com/apis/websearch/).
Я хотел выполнить поиск по всей сети, но, похоже, с новым API можно искать только пользовательские сайты.
Есть ли способ поиска по всей сети программно? Мне удалось запросить старый API с помощью JSON из Java-программы.
10 ответов
Вы можете просто отправить их через браузер, а затем проанализировать html, что я всегда делал, даже для таких вещей, как Youtube.
Да, Google Custom Search теперь заменил старый API поиска, но вы все равно можете использовать Google Custom Search для поиска по всей сети, хотя шаги не очевидны в настройке Custom Search.
Чтобы создать систему пользовательского поиска Google, которая выполняет поиск по всей сети:
- На главной странице пользовательского поиска Google ( http://www.google.com/cse/) нажмите Создать систему пользовательского поиска.
- Введите имя и описание для вашей поисковой системы.
- В разделе "Определить свою поисковую систему" в поле "Сайты для поиска" введите хотя бы один действительный URL-адрес (сейчас просто добавьте www.anyurl.com, чтобы обойти этот экран. Подробнее об этом позже).
- Выберите нужную версию CSE и примите Условия предоставления услуг, затем нажмите Далее. Выберите нужный макет и нажмите "Далее".
- Нажмите любую из ссылок в разделе "Следующие шаги", чтобы перейти к панели управления.
- В левом меню в разделе "Панель управления" выберите "Основные".
- В разделе "Настройки поиска" выберите "Поиск по всей сети", но выделите включенные сайты.
- Нажмите Сохранить изменения.
- В левом меню в разделе "Панель управления" выберите "Сайты".
- Удалите сайт, который вы указали в процессе первоначальной настройки.
Теперь ваш пользовательский поисковик будет искать по всей сети.
ценообразование
- Google Custom Search дает вам 100 запросов в день бесплатно.
- После этого вы платите 5 долларов за 1000 запросов.
- Максимум 10000 запросов в день.
Источник: https://developers.google.com/custom-search/json-api/v1/overview
- Качество поиска намного ниже, чем в обычном поиске Google (без синонимов, "интеллекта" и т. Д.)
- Похоже, что Google даже планирует полностью отключить этот сервис.
Пользовательский поиск Google (как утверждается в ответах с самым высоким рейтингом) работает хорошо, но очень дорого по сравнению с конкурентами (ниже) или по сравнению с другими API Google. Он имеет небольшой бесплатный уровень (100 запросов в день) и очень высокую цену в 5 долларов за 1000 запросов.
Они предлагают возможность перейти на поиск по сайту, который имеет несколько лучшие цены, но он предназначен для поиска по одному сайту (вашему собственному), так что это действительно что-то совсем другое, а не обновление.
Основными альтернативами являются:
API поиска Bing
https://datamarket.azure.com/dataset/5BA839F1-12CE-4CCE-BF57-A49D98D29A44
У которого есть бесплатный уровень 5000q/ месяц, и цены, начинающиеся с 5 запросов за копейки, и без жесткого ограничения.
ОБНОВЛЕНИЕ: в конце 2016 года этот API был закрыт в пользу своего аналога Azure "API Bing Search для Cognitive Services":
https://azure.microsoft.com/en-us/services/cognitive-services/search/
Смотрите здесь ценовую диаграмму, которая начинается с 3 долларов США за тысячу транзакций. Если я что-то упустил, это довольно дорого.
API поиска Yahoo BOSS
ОБНОВЛЕНИЕ: было прекращено 31 марта 2016 года. http://developer.yahoo.com/boss/search/
С ценами, начинающимися приблизительно с 12 запросов / пенни для всего поиска в сети.
И некоторые из них я не слышал раньше:
http://www.gigablast.com/searchfeed.html
http://www.faroo.com/hp/api/api.html
http://www.entireweb.com/search_api/implementation/
[прекращено - как указано ниже]
Некоторые из них обсуждаются в этом посте.
[закрыли за то, что он не по теме и теперь нет]
В нижней части панели управления пользовательским поиском есть опция: "Поиск сайтов", вы можете выбрать "Поиск по всему Интернету, но выделите включенные сайты".
Я только что натолкнулся на это из Common Crawl.
Может быть ответ, который мы все ищем!!
В верхней части документа есть примечание:
Примечание. API веб-поиска Google официально устарел с 1 ноября 2010 года. Он будет продолжать работать в соответствии с нашей политикой устаревания, но количество запросов, которые вы можете делать в день, будет ограничено. Поэтому мы рекомендуем вам перейти на новый API пользовательского поиска.
Политика устаревания говорит, что они будут продолжать использовать API в течение 3 лет. Поэтому, если у вас уже есть приложение, использующее старый API, вам не нужно спешить, чтобы что-то изменить. Если вы пишете новое приложение, используйте API пользовательского поиска. Смотрите мой ответ здесь, чтобы узнать, как это сделать в Python, но идея одинакова для любого языка.
Существует бесплатный Java API под названием JFreeWebSearch, который использует уже упомянутый Faroo: http://www.ke.tu-darmstadt.de/resources/jfreewebsearch
Вы можете создать систему пользовательского поиска "везде" прямо на главной странице пользовательского поиска Google ( http://www.google.com/cse/). Вы должны просто нажать "Дополнительно", во время добавления нового движка. Там вы можете указать тип сайта Schema.org. " Вещи" является наиболее общим типом, который охватывает всю сеть.
Gigablast предлагает дешевый API для веб-поиска: http://www.gigablast.com/searchfeed.html