Неограниченная подкаталог в robots.txt
Хорошо, в настоящее время мы ограничиваем каталог /Assets/ от индексации в нашем файле robots.txt. В каталоге /Assets/ есть один каталог, который я хочу проиндексировать (/Assets/product_labels/). Есть ли способ разрешить этот один каталог, кроме перемещения в другой каталог?
2 ответа
Вы могли бы поставить явное Disallow для всех файлов и папок, которые являются "братьями и сестрами" для папки, которую вы хотите оставить открытой.
Disallow: /Assets/Dir1
Disallow: /Assets/Dir2
Disallow: /Assets/DirN
Disallow: /Assets/File1
Disallow: /Assets/File1
Disallow: /Assets/FileN
Просто оставь /Assets/product_labels вне - чтобы позволить это.
Создание этого списка может быть автоматизировано, но помните, что это должно быть сделано для каждого нового каталога или файла, под которым вы храните Assets что вы хотите запретить.
Конечно, если вы хорошо переносите product_labels снаружи Assets это будет чище.
"В настоящее время это немного неловко, так как нет поля" Разрешить ". Самый простой способ - поместить все файлы, которые нужно запретить, в отдельный каталог, сказать" вещи ", и оставить один файл на уровне выше этого каталога: "-> Цитируется по адресу: www.robotstxt.org