Просматривайте веб-сайт с помощью wget и ограничивайте общее количество просканированных ссылок.

Question

Я хочу больше узнать о сканерах, поиграв с инструментом wget. Я заинтересован в том, чтобы сканировать сайт моего отдела и найти первые 100 ссылок на этом сайте. Пока команда ниже - то, что я имею. Как ограничить сканер остановкой после 100 ссылок?

wget -r -o output.txt -l 0 -t 1 --spider -w 5 -A html -e robots=on "http://www.example.com"

Answer 1

Ты не можешь wget не поддерживает это, поэтому, если вы хотите что-то подобное, вам придется написать инструмент самостоятельно.

Вы можете получить основной файл, разобрать ссылки вручную и получить их одну за другой с ограничением в 100 элементов. Но это не то, что поддерживает wget.

Вы также можете взглянуть на HTTrack для сканирования веб-сайтов, у него есть несколько дополнительных возможностей для этого: http://www.httrack.com/

Answer 2

1. Создайте файл fifo (mknod /tmp/httpipe p)
2. сделать вилку
   • у ребенка сделать wget --spider -r -l 1 http://myurl --output-file /tmp/httppipe
   • в отце: читать построчно /tmp/httpipe
   • разобрать вывод =~ m{^\-\-\d\d:\d\d:\d\d\-\- http://$self->{http_server}:$self->{tcport}/(.*)$}, print $1
   • считать линии; после 100 строк просто закройте файл, он сломает трубу