Описание тега sitemap

5 ответов

Сканирование сайта / паук, чтобы получить карту сайта

Мне нужно получить целую карту сайта в формате, подобном: http://example.org/ http://example.org/product/ http://example.org/service/ http://example.org/about/ http://example.org/product/viewproduct/ Мне нужно, чтобы он был основан на ссылках (без ф…
03 сен '12 в 14:23
0 ответов

Консоль поиска Google, подтверждение, карты сайта, свойства HTTPS и HTTP

Я очень незнаком с веб-инструментами Google, такими как Google Analytics или Search Console, (поэтому извиняюсь, если что-то из этого не имеет смысла), и я впервые имею дело с проверкой сайта или представлением карты сайта. В конце концов, цель сост…
6 ответов

Извлечение ссылок из карты сайта (xml)

Допустим, у меня есть sitemap.xml файл с этими данными: <url> <loc>http://domain.com/pag1</loc> <lastmod>2012-08-25</lastmod> <changefreq>weekly</changefreq> <priority>0.9</priority> </url>…
27 авг '12 в 11:11
1 ответ

Загрузка / обновление веб-страниц, перечисленных в карте сайта XML

Я ищу инструмент FLOSS, который загружает все страницы (и встроенные ресурсы, например изображения), связанные в карте сайта XML (созданной в соответствии с http://www.sitemaps.org/). Инструмент должен регулярно сканировать карту сайта и искать новы…
13 окт '12 в 15:04
2 ответа

Неограниченная подкаталог в robots.txt

Хорошо, в настоящее время мы ограничиваем каталог /Assets/ от индексации в нашем файле robots.txt. В каталоге /Assets/ есть один каталог, который я хочу проиндексировать (/Assets/product_labels/). Есть ли способ разрешить этот один каталог, кроме пе…
24 июл '09 в 20:13
2 ответа

Как я могу создать карту сайта для защищенного паролем сайта

В Microsoft Visio есть функция, позволяющая создавать карту сайта для существующего веб-сайта. Тем не менее, мой веб-сайт имеет логин и пользователи должны пройти проверку подлинности для просмотра содержимого. Есть ли способ ввести учетные данные в…
15 фев '11 в 14:11