Как проверить, была ли обновлена ​​динамическая веб-страница?

Я знаю, что могу проверить время последнего изменения с

wget -S http://www.staticpage.com

пока страница статична. Но когда я делаю то же самое с динамической страницей, я всегда получаю настоящее время.

Итак, каков менее навязчивый способ спросить сайт, изменилась ли страница с некоторого произвольного времени или когда страница обновлялась в последний раз. Я, очевидно, мог бы загрузить всю страницу и сравнить с содержимым, которое я сохранил в файле, но я хочу уменьшить накладные расходы.

1 ответ

Решение

Динамическая страница буквально обновляет каждую страницу загрузки. Если вы хотите знать, когда обновляется динамическая страница, вам нужно посмотреть на саму страницу или RSS-канал для этой страницы. Ваш лучший выбор, как правило, заключается в том, чтобы загрузить его и проанализировать последнюю дату из последней записи.

ОБНОВЛЕНИЕ: Если вы хотите ограничить объем данных, которые вы читаете при загрузке страницы, вы можете использовать следующее:

curl http://someurl.com | head -c 512

Linux прекратит чтение из потока и завершит запрос после 512 байт, используя это. Это зависит от сервера, чтобы увидеть это и остановить передачу. Это может произойти или не произойти, но, по крайней мере, вы не тратите больше пропускной способности.

Другие вопросы по тегам