Файл Robots.txt – это простой текстовый файл, который создается и размещается в корневом каталоге блога на WordPress и отвечает за поведение поисковых роботов на сайте.

Файл для WordPress robots.txt — используется, в основном, для ограничения доступа поисковых роботов (еще их называют поисковыми ботами) к индексации некоторых разделов или файлов вашего сайта.

Если этот файл отсутствует, то поисковые боты будут индексировать все, что размещено в корневой папке вашего сайта, включая системные папки CMS WordPress, страницы регистрации, авторизации или админ-панель.

Это приводит к тому, что поисковый робот на индексацию вашего сайта тратит слишком много времени и может пропустить или вовсе не проиндексировать нужные страницы.

Другими словами, при помощи специальных директив файла robots.txt для WordPress, мы сами указываем поисковым ботам что нужно индексировать, а что желательно пропустить. В поиск Google или Яндекс попадает только нужная нам информация. В основном это главная страница и страницы с записями.

Кроме этого, файл robots.txt играет большую роль в поисковой SEO-оптимизации сайта. В файле прописывается специальная директива, в которой указывается путь к файлу sitemap.xml с картой сайта, которая указывает поисковым ботам какие страницы необходимо проиндексировать . Это приводит к быстрой индексации новых записей вашего блога.

Прочитать дальше и скачать готовый файл...