wget решает не загружаться из-за черного списка

Я пытаюсь сделать полную копию веб-сайта; например,

http://vfilesarchive.bgmod.com/files/

я бегу

wget -r -level=inf -R "index.html*" --debug http://vfilesarchive.bgmod.com/files/

и получать, например

Deciding whether to enqueue "http://vfilesarchive.bgmod.com/files/Half-Life%D0%92%D0%86/".
Already on the black list.
Decided NOT to load it.

Что происходит? Что значит wget Я имею в виду под "черным списком", почему он загружает только части того, что есть, и что я должен сделать, чтобы получить весь веб-сайт?

Версия Wget

GNU Wget 1.20 built on mingw32

(работает на Windows 10 x64).

PS Я думаю, что мне удалось решить это с

wget -m --restrict-file-names=nocontrol --no-iri -R "index.html*" <target url>

даже если имена файлов немного повреждены из-за специальных символов в URL. Есть ли лучшее решение?

1 ответ

Решение

Я думаю, что мне удалось решить это с

wget -m --restrict-file-names=nocontrol --no-iri -R "index.html*" <target url>

даже если имена файлов немного повреждены из-за специальных символов в URL.

Другие вопросы по тегам