Существует ли служба / сайт веб-поиска с API или с YQL?

Question

Я хотел бы сделать инструмент, который обращается к поисковой системе программно.

Я недавно наслаждался использованием YQL и подумал, что это может быть полезно, поскольку он может копать данные из HTML-страниц.

Но я попробовал это с поиском в Google, Bing и Yahoo, и все они, похоже, блокируют YQL.

Интересно, есть ли какие-нибудь менее известные поисковые веб-сайты, которые могли бы работать с YQL.

Или на самом деле, если есть еще поисковая система, которая предлагает API, который был бы еще лучше.

(На самом деле, я только ищу linguistics.stackexchange.com, потому что API стека Exchange не предоставляют способ поиска по тексту, который я могу найти.)

Answer 1

Большинство сайтов поисковых систем блокируют доступ к скреперам экрана и другим агентам. YQL разработан с учетом robots.txt файл, поэтому на многих сайтах, как этот, он не будет работать.

Вместо этого я предлагаю перейти на шаг выше, чем очистка экрана HTML и использовать опубликованный API поиска.

Например, в YQL есть таблица, которая обеспечивает доступ к результатам поиска Bing:

select * from microsoft.bing where query="soccer" and source in ("web","image")

Вы также можете посмотреть на Yahoo! BOSS API или использование Bing Search API напрямую.