Файл robots.txt для WordPress это необходимая и обязательная часть блога. Создается он для того что бы поисковики знали что следует индексировать а что не обязательно. Этот файл как бы советует поисковым роботам индексаторам что забирать в индекс. На каждом сайте поисковый робот проводит определенно отведенное количество времени. И он может набрать в индекс не нужные страницы и оставив не проиндексированными важные. Вот именно для такой ситуации нам и нужен robots.txt. Он создается из обычного блокнота и в нем прописываются директивы для направления роботов на важные страницы. Подробнее читайте здесь.