Вопрос
Я хочу узнать больше о сканерах, поиграв с инструментом wget. Меня интересует сканирование веб-сайта моего отдела и поиск первых 100 ссылок на этом сайте. Пока что команда ниже - это то, что у меня есть. Как сделать так, чтобы поисковый робот останавливался после 100 ссылок?
wget -r -o output.txt -l 0 -t 1 --spider -w 5 -A html -e robots=on "http://www.example.com"
Вы не можете. wget не поддерживает это, поэтому, если вы хотите что-то подобное, вам придется написать инструмент самостоятельно.
Вы можете получить основной файл, проанализировать ссылки вручную и получить их одну за другой с ограничением в 100 элементов. Но это не то, что поддерживает wget.
Вы также можете взглянуть на HTTrack для сканирования веб-сайтов, у него есть несколько дополнительных опций для этого: http://www.httrack.com/
wget --spider -r -l 1 http://myurl --output-file /tmp/httppipe/tmp/httpipe=~ m{^\-\-\d\d:\d\d:\d\d\-\- http://$self->{http_server}:$self->{tcport}/(.*)$}, print $1Перевод вопроса и ответов сообщества Stack Overflow, лицензия CC BY-SA. Оригинал на Stack Overflow.