Как запретить Google индексировать
Мы настроили один из веб-сайтов на сервере, а сайт строит в среде php и symfony, так как мое требование состоит в том, чтобы запретить Google индексирование и ниже моего файла robot.txt и предотвращает ли использование.htaccess?
User-agent: *
Disallow:
Так как же это предотвратить и проверить?
1 ответ
Ваш файл должен быть назван: robots.txtЕсли вы можете увидеть содержимое файла в строке: http://youwebsite/robots.txt, то он должен работать. В противном случае вы можете протестировать его с помощью этого инструмента Google: https://support.google.com/webmasters/answer/6062598?hl=en