Один из этапов развития моего блога, как и любого другого проекта в сети – это регистрация в поисковых системах (Google, Yandex и др.). При индексации сайта, поисковик будет хватать все странички, что найдет. При этом часто попадают страницы с RSS, Atom, страниц с регистрацией, авторизацией и прочие не нужны для индексирования страницы. Для запрета индексации отдельных страничек и папок используется robots.txt в корневой папке сайта. Читать
полностью...