Рекомендации по программному поиску в сети
Я работаю в системе, которая должна связывать URL-адреса с данными на основе ключевых слов. Я надеялся, что смогу использовать веб-сервис для автоматического выполнения полно-веб-поиска по ключевым словам или тегам, и результаты будут в удобном для машины формате, например, JSON.
Моей первой мыслью был Google, и их служба пользовательского поиска Google выглядит довольно хорошо и зарекомендовала себя в тестах. Он имеет простой REST-подобный URL и возвращает результаты в формате JSON. Единственная проблема заключается в том, что он имеет ограничение в 100 запросов в день. Мне нужно больше, как 1000. Их опция оплаты с более высокой квотой (Поиск по сайту Google) не разрешает поиск в Интернете, поэтому для меня это бесполезно.
Конечно, другие хотели раньше выполнять программный поиск в Интернете. Предлагает ли Google другой сервис поиска B2B, который мы могли бы использовать? Мы рады платить за каждый запрос, подписывать соглашения и т. Д. Боюсь, что я не ищу нужное место на сайте Google.
Когда я писал этот вопрос, я нашел домашнюю страницу веб-служб Microsoft Bing. На первый взгляд это выглядит довольно хорошо. У меня есть небольшое предпочтение Google, но я открыт для Microsoft. Я хотел бы услышать любой совет по использованию API Microsoft.
2 ответа
Я полагаю, что в пользовательском поиске Google предусмотрена опция "платить за>100 запросов":
https://developers.google.com/custom-search/v1/overview(см. раздел "Платное использование" внизу)
@Sync нашел правильный путь, и я думаю, что теперь я понимаю проблему: у Google есть две панели управления для пользовательского поиска, и вы не можете получить доступ к одной из других.
Я был на панели моей системы пользовательского поиска Google (www.google.com/cse/panel), которая дает мне контроль над низкоуровневыми аспектами моей поисковой системы, и единственным вариантом оплаты было преобразование в Поиск по сайту Google, но при этом я бы потерял всю мощь поиска в сети.
Существует еще одна панель управления более высокого уровня для всех API Google (code.google.com/apis/console), компонентом которой является пользовательский поиск. И отсюда настройка биллинга для увеличения квоты явно связана.
Извините, я не предоставляю правильные ссылки, так как соответствующие страницы требуют входа для доступа. Хотя я считаю, что этот ответ является авторитетным для моего вопроса, я ставлю зеленую галочку на @sync, без чьей помощи я бы не смог его выяснить. Однако я все еще хотел бы увидеть некоторые комментарии по API Bing!