Как проверить, была ли обновлена динамическая веб-страница?
Я знаю, что могу проверить время последнего изменения с
wget -S http://www.staticpage.com
пока страница статична. Но когда я делаю то же самое с динамической страницей, я всегда получаю настоящее время.
Итак, каков менее навязчивый способ спросить сайт, изменилась ли страница с некоторого произвольного времени или когда страница обновлялась в последний раз. Я, очевидно, мог бы загрузить всю страницу и сравнить с содержимым, которое я сохранил в файле, но я хочу уменьшить накладные расходы.
1 ответ
Динамическая страница буквально обновляет каждую страницу загрузки. Если вы хотите знать, когда обновляется динамическая страница, вам нужно посмотреть на саму страницу или RSS-канал для этой страницы. Ваш лучший выбор, как правило, заключается в том, чтобы загрузить его и проанализировать последнюю дату из последней записи.
ОБНОВЛЕНИЕ: Если вы хотите ограничить объем данных, которые вы читаете при загрузке страницы, вы можете использовать следующее:
curl http://someurl.com | head -c 512
Linux прекратит чтение из потока и завершит запрос после 512 байт, используя это. Это зависит от сервера, чтобы увидеть это и остановить передачу. Это может произойти или не произойти, но, по крайней мере, вы не тратите больше пропускной способности.