Часть вебмастеров считает, что внутренняя оптимизация состоит из двух частей:

1. Расстановка ключевых слов на странице
2. Внутренняя перелинковка страниц сайта между собой

Такое мнение весьма поверхностно. В реальности, для эффективной оптимизации ресурса нужно настроить очень много разных элементов.

Один из таких элементов - это файл Robots.txt. Обычный текстовый файл, который содержит директивы (команды) для поисковых роботов, посещающих ресурс.

Благодаря командам, находящимся в этом файле все роботы знают куда им ходить нужно, а куда не рекомендуется. Особенно важна правильная настройка данного файла для сайтов со сложной структурой и там, где особенность работы системы управления контентом формирует много разных страниц (как нужных, так и не очень).

Wordpress является типичным представителем CMS, формирующее много лишнего. Поэтому, для данной системы обязательно нужно заполнять роботс.txt, иначе, высоки риски получить штрафные санкции от поисковиков.

В сети гуляет множество примеров данного файла, повторяющих типичные ошибки. В частности, многие вебмастера любят дублировать блоки директив для разных поисковых систем, хотя это лишь увеличивает размер файла, другого эффекта не приносит.

Впрочем, давайте перейдем к составлению правильного файла Robots.txt. для Wordpress, там же рассмотрим и примеры - http://dmitriyzhilin.ru/fajl-robots-txt-dlya-bloga-na-wordpress-primer/