Как автоматически сканировать хэштег в твиттере с помощью API поиска
Я создал приложение в твиттере, и я могу сделать поиск и получить результаты. Например, когда я искал #starbucks, он обнаружил 25000 твитов, но максимальный лимит подкачки составляет 100 записей на страницу, что означает, что мне нужно перейти на 250 страниц, чтобы вставить эти твиты в мою базу данных. Твиттер возвращает следующую страницу QueryString нормально, результаты вот так
- чирикать
- чирикать
- чирикать... 99. твитнуть 100.итвитнуть
следующая страница начинается с 101 до 199..
Я попытался мета-обновления для навигации автоматически, после публикации формы ссылка на следующую страницу приходит к мета-обновление URL http://example.com?q=#starbucks&count=100&max_id=xxxxxxxxxxxx/">
и через 60 секунд после открытия следующей страницы этот процесс продолжается до последней страницы.
Мой вопрос: как можно сделать это в Linux с помощью cronjob (vps,vds или хостинга), я могу сделать запрос на первую страницу, потому что форма работает с запросом get, но может ли linux перемещаться по страницам автоматически?
благодарю вас.