wget (или curl) все содержимое ветки форума?

URL-адрес ветки форума, к которой я пытаюсь получить доступ, находится в форме

http://domain.com/showthread.php?threadid=3333333&userid=0&perpage=40&pagenumber=1

я пробовал

wget --user-agent = Mozilla / 5.0 -k -m -E -p -np -R http: //domain/showthread.php? noseen = 0 & threadid = 3333333 & pagenumber = 1

и мне не повезло.

Источник

2 ответа

Почему бы не просто в цикле:

for pageno in {1..1000000}; do
    wget ... http://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=$pageno || break
done

или, возможно, цикл while лучше, если написать немного дольше:

i=1
while true; do
    wget ... http://domain/showthread.php?noseen=0&threadid=3333333&pagenumber=$pageno
    if test $? -ne 0; then
        break
    fi
    i=$((i+1))
done
Источник

Возможно, стоит проверить, поддерживает ли форум RSS-каналы разделов / тем. Это спасло бы вас от беспокойства.

Источник
Другие вопросы по тегам