Отправляет email-рассылки с помощью сервиса Sendsay
  Все выпуски  

Заработок и продвижение сайтов/блогов в Интернете Файл robots.txt для WordPress


Всем привет, сегодняшний пост я решил целиком и полностью посвятить оптимизации сайта/блога на платформе WordPress, а именно правильное составление файла robots.txt для поисковых систем. На самом деле файл robots.txt играет очень большую роль при продвижении сайта и его успешной индексации, именно от правильного составления этого файла и зависит ваша дальнейшая работа с сайтом. Ниже я привожу наиболее оптимальный вариант файла robots.txt , который обеспечит правильную индексацию сайта/блога без боязни попасть под санкции поисковых систем (те же дубли страниц – тэг tag и т.п. вещи).

User-Agent: *
Allow: /wp-content/uploads/
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: /xmlrpc.php
Disallow: /template.html
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content
Disallow: /tag
Disallow: /category
Disallow: /archive
Disallow: */trackback/
Disallow: */feed/
Disallow: */comments/
Disallow: /?feed=
Disallow: /?s=
Host: www.ваш сайт.ru
Sitemap: http://www.ваш сайт.ru/sitemap.xml

Обратите внимание на две последние директивы: 1)директива Host (только для Яндекс) описывает главное зеркало сайта, проще говоря, ваш сайт с приставкой www или без нее.
2)директива Sitemap – указывает для поисковой системы путь к карте вашего сайта/блога.
Все остальные команды закрывают административную панель, облако меток, календарь, архивы и т.д. весь остальной мусор – от индексации поисковыми системами.
Хотел бы еще обратить внимание саттелитчиков – ребята, вышеизложенный robots.txt исключительно для СДЛ, для саттелитов используйте robots.txt без следующих строк:

Disallow: /tag
Disallow: /category
Disallow: /archive

это обеспечит максимальное количество страниц в индексе, но уже с дублями.


В избранное