Поисковые боты, создающие проблему в вызове веб-сервиса через curl
Я реализовал код скручивания для извлечения актуальных ресурсов из веб-службы поставщика, когда любой пользователь открывает страницу сведений о продукте.
Но поисковые роботы обращаются к странице, и это приводит к 1000-кратному обращению к веб-сервису каждую секунду.
Как исправить эту проблему. Я искал в Google, но пока не нашел точного ответа.
1 ответ
По крайней мере, вы должны определить User-Agent и IP-адрес при вызове страницы. Если полученные аргументы совпадают с данными бота, просто не обращайтесь к веб-сервису и используйте постоянные статические данные (только для ботов).
Кроме того, вы можете использовать инструмент для проверки человека (капча и т. Д.): Если проверка не удалась, не вызывайте веб-службу.
Кроме того, вы можете использовать кэширование и вызывать веб-сервис только для обновления кэша (например, один раз в час): если данные обновляются менее часа назад, страница должна использовать кэшированные данные.