Как я могу импортировать несколько URL в wget?

Question

Как я могу импортировать несколько URL в wget?

Я использую следующий код для загрузки "example1.com" с Windows. Однако этот код ограничен только одним URL.

Можно ли импортировать текстовый файл, который содержит несколько URL?

wget -erobots=off --no-parent --wait=3 --limit-rate=20K -r -p -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" -A htm,html,css,js,json,gif,jpeg,jpg,bmp http://example1.com

1

wget url

Источник

Si14 28 мар '13 в 20:06

2 ответа

Другие вопросы по тегам wget url

Si14 29 мар '13 в 08:13 2013-03-29 08:13 · Answer 1 · 2013-03-29 08:13

Я нашел самый простой способ: wget есть команда для импорта ссылок из текстового файла.

wget -i mylist.txt

3

Источник

Si14 29 мар '13 в 08:13

gronostaj 28 мар '13 в 20:35 2013-03-28 20:35 · Answer 2 · 2013-03-28 20:35

Вы можете сделать это с помощью bash, установщик Windows можно найти здесь (когда запрашивается установка компонентов, выберите только MSYS), в Linux вы, вероятно, используете его как интерпретатор командной строки по умолчанию, так что вы просто запускаете консольный эмулятор и готовы к работе., Чтобы запустить его в Windows, откройте C:\MinGW\msys\1.0\msys.bat,

Допустим, ваша база данных URL называется db.txt и он имеет каждый адрес в отдельной строке, без пробелов. Тогда команда для запуска wget для каждого адреса будет:

for line in `cat db.txt`; do wget -erobots=off --no-parent --wait=3 --limit-rate=20K -r -p -U "Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1)" -A htm,html,css,js,json,gif,jpeg,jpg,bmp $line; done

Обратите внимание, что я использовал символы ударения (те, что слева от кнопки 1), а не апострофы. Перед выполнением этой команды вы должны изменить каталог на папку, где находится файл:

cd /home/YourUsername