Есть ли способ загрузить весь веб-сервер (и, возможно, упомянутые серверы)?

Не только сайт и контент, я хочу локально воспроизводить вызовы скриптов и т. Д. Я попробовал HTTracker и wget, но он не работает.

В качестве примера возьмем donjon.bin.sh

2 ответа

Невозможно использовать HTTP для загрузки всего веб-сайта, если какая-то его часть не является статичной, например, созданной серверными сценариями или программами.

Обычно вам потребуется учетная запись администратора и обычно для передачи сайта используется другой протокол, например FTP. Кроме того, вам понадобятся некоторые средства для извлечения содержимого любых используемых баз данных.

У вас будут проблемы, если вы пытаетесь загрузить веб-серверы, которые не на 100% работают на стороне клиента. Если сайт использует какие-либо сценарии на стороне сервера (ruby, python, php, asp и т. Д.), Вы сможете загружать только то, что было отрендерено, а не фактические исходные файлы, которые генерировали содержимое на стороне клиента.

Поисковыми терминами, которые вы можете исследовать, является веб-сканирование. Например, Google использует сканер для кэширования данных с веб-сайтов. Часто, если веб-сайт исчезает или закрывается, вы можете просмотреть кэш Google в последний раз, когда на нем были данные. Полезно для некоторых старых контентных сайтов, которые больше не существуют.

http://en.wikipedia.org/wiki/Web_crawler

Другие вопросы по тегам