Нюхание контента веб-страниц в сети - эксперимент
Я хочу прослушать веб-контент. Не волнуйтесь, никаких порочных намерений, это эксперимент:)
Сценарий таков: у меня есть хост-машина и несколько гостевых виртуальных машин. Все виртуальные машины идут по случайным URL. Я хотел бы прослушать и сохранить контент, к которому имеют доступ виртуальные машины (я заинтересован в захвате необработанного HTML, я хотел бы пропустить изображения, видеопотоки и т. Д.)
Одним из решений было бы установить сниффер на моем хост-компьютере (например, tcpdump) и позже обработать то, что захвачено. Неудобство здесь заключается в том, что мне нужно работать на сырых .pcap дампах:(
Другим решением было бы настроить прокси-сервер и настроить его так, чтобы содержимое выводилось в файл... но я не специалист по прокси. Можно ли это сделать, например, с помощью кальмара?
Есть еще идеи?