Wget для создания карты сайта, включая страницы без названия?

Я хотел бы нанести на карту веб-сайт, на котором в настоящее время нет оглавления.

Однако на некоторых страницах также отсутствует строка TITLE в разделе HEAD.

Я нашел следующий код, но он не включает, как проверить НАЗВАНИЕ, и, возможно, заменить пустой раздел, например, на. "Без названия":

wget --spider --recursive --no-verbose --random-wait --output-file=wgetlog.txt http://www.acme.com

sed -n "s@.\+ URL:\([^ ]\+\) .\+@\1@p" wgetlog.txt | sed "s@&@\&@" > sedlog.txt

Можно ли это сделать только с помощью wget и sed?

Спасибо.

0 ответов

Другие вопросы по тегам