Всем кому приходилось создавать сайты известен файл robots.txt, который дает указания поисковым роботам. В некоторых случаях это больше похоже на рекомендации чем указания, все дело в том что, к примеру, Google может не адекватно реагировать на ваши запреты и все равно добавлять запрещенные страницы в свой "сопливый" индекс.

• Для чего использовать?
• Чем занимается поисковой робот на сайте?
• Создание и размещение файла на сайте WordPress.
• Где размещать?
• Что включает?
• Правильный robots.txt для сайта на CMS WordPress.

Если разрешить индексацию всего сайта на WordPress, без соответсвующих внутренних настроек, тогда ваш сайт быстро загнеться от дублей страниц, тоесть однозначно попадет под фильтры поисковиков что нам крайне не нужно.

По этой причине есть необходимость знать как правильно написать рекомендации в роботс и какой комплекс действий еще провести для полной защиты сайта от дублирования.

На эти вопросы вы найдете ответ по указанной ссылке.