Googlebot заблокирован robots.txt
Итак, недавно я проверил свой сайт с помощью теста, удобного для мобильных устройств Google, и основной проблемой при загрузке было "Googlebot заблокирован robots.txt". Мой robots.txt разрешает боту Google, я думаю?
Что вы думаете, ребята? В чем здесь проблема?
1 ответ
Я уверен, что ваш файл robots.txt разрешает все на вашем домене, и все работает правильно.
Похоже, происходит то, что у вас есть ресурсы с других сайтов, встроенных в вашу страницу, и ТОЛЬКО ЭТИ РЕСУРСЫ не отслеживаются Google, потому что robots.txt для тех доменов, которые находятся вне вашего контроля и, вероятно, не должны индексироваться в любом случае - есть файлы robots.txt, чтобы запретить их.
Если вы посмотрите на отчет и нажмете на выделенный "robots.txt" рядом с каждой строкой - он показывает файл robots.txt для URL -адреса - и они находятся за пределами вашего домена, и совершенно другой файл robots.txt.