Смена IP в пакетном запросе Rails

Question

Я создаю веб-приложение, которое анализирует различные веб-сайты, например, если вы выполняете поиск "stackru" в приложении, мы будем искать на нескольких веб-сайтах: google, yahoo, bing, stackru и т. Д. Чтобы обойти тот факт, что мне нужно было использовать API для каждого веб-сайта я решил разобрать через HTML, и пока он работает нормально. Однако я знаю, что если такие сайты, как Google, получат несколько необычно быстрых запросов с одного и того же IP-адреса, они просто заблокируют этот IP-адрес, поэтому я хотел бы использовать IP-адрес пользователя и отправлять его в пакете приложениям, таким как Google. думаю, что пользователь инициировал запрос. Я подумал о нескольких способах, например: сделать так, чтобы javascript инициировал запрос и отправил обратно html, но мне кажется, что такое перетаскивание, когда я уже написал парсер в ruby, и я действительно не чувствую, что два отдельных вызова было бы так эффективно. Так что, если у кого-то есть идеи, как этого добиться, используя IP-спуфинг или другой взлом, я был бы вечно благодарен. Спасибо

Answer 1

Вы можете использовать банки прокси-серверов, но это дорого.

Лично я бы пошел с API, зная, что я делаю вещи утвержденными способами, и не беспокоился о попытке обойти их алгоритмы перехвата сеанса.

Вы берете "короткий путь", который, вероятно, будет медленнее, чем использование их API, особенно если учесть время, потраченное на переписывание кода. Это постоянная битва, в которой мы пытаемся разобраться со соскребанием HTML, потому что все они будут менять свой HTML-макет, ломая ваши скребки. Их API будут меняться намного медленнее и реже, если вообще будут меняться, поэтому ваш код будет гудеть.