Описание тега robots.txt
0
ответов
Законен ли автоматический доступ к веб-сайту?
Многие веб-сайты включают в свои условия обслуживания информацию о запрете автоматического доступа. Один пример находится в файле robots.txt на ebay: Использование роботов или других автоматизированных средств для доступа к сайту eBay \n без явного …
01 мар '14 в 08:21
1
ответ
Как запретить Google индексировать
Мы настроили один из веб-сайтов на сервере, а сайт строит в среде php и symfony, так как мое требование состоит в том, чтобы запретить Google индексирование и ниже моего файла robot.txt и предотвращает ли использование.htaccess? User-agent: * Disall…
29 июн '16 в 11:12
1
ответ
Как мы можем узнать, какие URL можно сканировать, как robots.txt сообщает, если мы не знаем, к какой папке принадлежит URL?
Я собираюсь кодировать веб-сканер, но прежде чем я хочу узнать, что будет возможно сканировать. Скажите, если я ошибаюсь, но на веб-сайтах robots.txt указаны папки, а не URL-адреса, которые можно и нельзя сканировать, так как мы можем узнать, к како…
21 янв '19 в 13:53
1
ответ
Googlebot заблокирован robots.txt
Итак, недавно я проверил свой сайт с помощью теста, удобного для мобильных устройств Google, и основной проблемой при загрузке было "Googlebot заблокирован robots.txt". Мой robots.txt разрешает боту Google, я думаю? Что вы думаете, ребята? В чем зде…
21 мар '18 в 19:28
1
ответ
Apache не запустится, порт 80 используется системным процессом, найден baiduspider
Итак, я удалил IIS на моем сервере Windows и решил попробовать Xampp для размещения моих доменов. Порт 80 используется, и я перепробовал все исправления, с которыми столкнулся за последние 2 дня. Мне нужно было выяснить, что использует идентификатор…
02 май '15 в 02:29
1
ответ
Можно ли играть в ROS в Windows 10, 64 бит?
Я пытаюсь установить ROS(операционную систему робота) на свой компьютер с Windows 10, 64bit. Является ли это возможным? И есть ли процесс, чтобы сделать это?
13 фев '19 в 15:44
0
ответов
Сообщение об ошибке SQL другой пользователь пытается изменить те же данные
У меня есть системный скрипт, который обновляет базу данных SQL, которая отправляет мне сообщения об ошибках. Недавно сервер, на котором размещен SQL, был перемещен, новый сервер работал хорошо в течение недели. Затем я добавил пару полей в SQL и си…
21 янв '19 в 12:40
2
ответа
Какое программное обеспечение необходимо для членских веб-сайтов и как они могут быть проиндексированы Google
Я замечаю, что в некоторых случаях статьи о платных новостях, похоже, индексируются Google, потому что отрывки из истории появляются в поисковой выдаче. Тем не менее, когда я захожу на эти веб-сайты с использованием идентификатора робота-робота (Goo…
29 мар '16 в 17:42