Baidu CURL заблокирован IP
Я работаю над сценарием bash, используя curl список "расширенных" URL из поисковой системы baidu, чтобы получить реальный.
Хотя после некоторых URL мой IP заблокирован, и я больше не получаю никаких результатов.
Этот скрипт должен быть в состоянии выполняться много раз одновременно.
Добавление таймаута полностью исключено. Мне нужно получить эти результаты как можно быстрее.
Как я могу обойти эту проблему?
Я бы предпочел использовать решение bash, но если этого не произойдет, то все будет хорошо.
Спасибо,