Описание тега screen-scraping

Описание тега Вопросы с тегом
Очистка экрана, также известная как очистка веб-страниц или очистка данных, представляет собой программный метод, используемый для сбора и анализа информации из пользовательских интерфейсов. Вопросы об использовании языков программирования для очистки экрана не по теме и должны задаваться в вопросах и ответах Stack Overflow.
0 ответов

wget поместил все предпосылки в плоский подкаталог, но не в корневую страницу?

Я пытаюсь получить wget для сохранения страницы + предварительные условия в формате, похожем на формат веб-браузера: article.html article_files/img.jpg article_files/script.js Я могу получить почти такое поведение, но article.html это внутри article…
22 апр '14 в 03:22
2 ответа

Сканирование в Интернете / сканирование определенной книги Google

Для своей работы мне нужно почистить текст из большой книги в Google Книгах. Эта книга очень старая и не защищена авторским правом. Книга - это газета мира. Мы будем помещать текст в базу данных, поэтому нам нужен необработанный текст, а не PDF. Я у…
28 авг '13 в 14:09
0 ответов

Программы для чтения данных с интерактивных веб-карт

Этот вопрос в том же духе, что и этот: Программа для чтения данных с отсканированных графиков В последнее время в сети появляется все больше и больше интерактивных диаграмм. Посмотрите на следующее: http://www.finanzen.net/zertifikate/zertifikate_em…
11 июл '12 в 13:05
1 ответ

Законно ли проверять свои банковские выписки в США?

Я хочу автоматически загрузить свои банковские выписки. Мой банк ежемесячно взимает плату за доступ к OFX, поэтому я рассмотрел возможность сбора точек данных другими способами (скриптинг, очистка экрана), но я хочу знать, законно ли это в США. У ко…
09 дек '12 в 07:30
1 ответ

Ошибка веб-макроса

Я пытаюсь удалить несколько страниц, которые являются результатом поиска ключевой работы. Я написал этот код, но я получаю сообщение об ошибке при запуске. Ошибка: Application \-defined or object-defined error. Когда я нажимаю "Отладка", он указывае…
13 апр '15 в 05:05
2 ответа

Программное обеспечение Data Mining

Я хочу собрать некоторые данные, подобные этой http://www.newcardealers.ca/en/Dealers/List-A.aspx И вставьте имя, адрес, номер телефона, адрес электронной почты и т. Д. В базу данных. Есть ли какое-то программное обеспечение, которое я могу использо…
28 май '10 в 01:51
3 ответа

Как внедрить механизмы противоскребания для моего сайта на основе Amazon S3?

У меня есть несколько статических веб-страниц, размещенных на Amazon S3, которые очень часто обновляются. Я хочу внедрить несколько механизмов предотвращения взлома, таких как запрет IP-адресов, которые делают слишком много запросов или делают запро…
18 фев '17 в 02:20
2 ответа

Как автоматически копировать текст с разных сайтов

Я хочу знать, как автоматически копировать текст с разных сайтов. Я создаю базу данных компаний, которые принадлежат к определенным ассоциациям. На сайте есть список компаний с описанием каждой из них, которые я копирую вручную. Есть ли способ созда…
24 фев '17 в 09:23
3 ответа

Я вижу анимированные файлы PNG на некоторых сайтах вместо файлов GIF. Как я могу сохранить / загрузить их?

Я знаю, как сохранить GIF, это очень просто. Просто щелкните правой кнопкой мыши и сохраните. Вуаля! Но с этими новыми анимированными PNG я не имею ни малейшего сомнения. Без использования какого-либо скрэпа на экране, где я беру весь рабочий стол, …
17 ноя '17 в 06:54
1 ответ

IRobot Скребковый инструмент

Я использую инструмент очистки IRobot для получения некоторых данных с веб-сайта, но по какой-то причине он не приходит. Я думаю, что проблема должна быть в настройках прокси, может кто-нибудь помочь мне с тем, как изменить настройки прокси в инстру…
07 сен '12 в 15:08
0 ответов

Страница стиля igoogle с контентом, удаленным с других страниц

Я ищу домашнюю страницу в Интернете или расширение Chrome, которая будет отображать домашнюю страницу типа iGoogle, но которая позволит мне выбирать контент на других страницах. Таким же образом AdBlock позволит мне выбрать div для блокировки - я хо…
09 ноя '12 в 13:17
1 ответ

Соскоб в Интернете / сканирование определенного веб-сайта

Я пытаюсь очистить 1265 html-файлов за раз, чтобы получить названия и описания предметов, которые есть у меня на сайте.У меня есть разрешение от оптовика на то, чтобы скопировать эти данные, но я не хочу тратить дни только на то, чтобы получить опис…
25 июл '14 в 20:55
1 ответ

Автоматически переходить по страницам загрузки отфильтрованных ссылок на сайте

С DownThemAll! Я могу скачать все ссылки на данной странице и отфильтровать их. Допустим, сайт www.google.com, и я хочу получить все результаты поиска. Я настроил фильтр: /search? Q = Это позволит получить все результаты поиска на этой странице (и н…
15 сен '14 в 22:38
0 ответов

Как очистить электронную почту от "сайтов, использующих cloudflare"? который дает [электронная почта защищена]

Я пытаюсь очистить сайт и весь его контент.Сайт, который я пытаюсь очистить, использует cloudflare, поэтому, если на сайте есть адреса электронной почты, он запутывается и показывает [email protected] если я попытаюсь поцарапать, используя php simpl…
02 ноя '17 в 13:54
4 ответа

Насколько "законно" использование сайта с помощью cURL?

Недавно я экспериментировал с cURL и обнаружил, что с ним можно многое сделать. Я создал небольшой скрипт, который сканирует музыкальный сайт, который воспроизводит онлайн-песни. По пути моего эксперимента я обнаружил, что можно также сканировать ис…
23 авг '10 в 04:06
1 ответ

Как я могу использовать AutoHotKey для чтения текста на месте мыши?

Я могу прочитать весь текст окна с помощью WinGetText(), но я пытаюсь получить текст в текущем местоположении мыши. Я нашел несколько примеров на форумах AutoHotKey, но все они очень старые (с 2007-2009), и примеры больше не работают, и во многих сл…
13 фев '13 в 02:53
0 ответов

Рекомендации по поиску в сети и обмену данными

У меня есть панель солнечных батарей, и у компании, которая ее настраивает ( Fronius), есть веб-сайт, на котором я могу транслировать данные, собранные с панели солнечных батарей (текущая мощность, энергия сегодня, месячные и годовые данные). Я хоте…
19 сен '14 в 19:34
0 ответов

Навигация / нажатие на всплывающие раскрывающиеся списки на веб-сайте

Я пытаюсь, чтобы мой Excel VBA переместился на определенную страницу финансового веб-сайта, но не могу правильно щелкнуть или выбрать опцию в раскрывающемся меню, чтобы перейти на эту страницу. Я пытался эмулировать похожие вопросы, встречающиеся на…
08 июн '18 в 20:49
0 ответов

Как сделать резервную копию доски объявлений, размещенной сторонней организацией?

Друг попросил меня сделать резервную копию этого форума: http://oldforums.comicbookresources.com/ Это работает на vBulletin. Там произошло что-то плохое, и хозяева больше не хотят принимать гостей и не отвечают. Сейчас будет темно в любой момент. Он…
13 май '14 в 22:21
1 ответ

Может ли веб-сайт отличать веб-скребок от легитимного пользователя на основе, отличной от скорости обхода?

Если я уменьшу скорость веб-скребка, чтобы он соответствовал скорости человека, сможет ли третье лицо различить их? Какие еще критерии используют веб-сайты, чтобы различать пользователей и скребки?
23 апр '18 в 06:11