Отправляет email-рассылки с помощью сервиса Sendsay
  Все выпуски  

Как создать блог, раскрутить и заработать Как создать файл robots.txt


Что же это за файл такой? С помощью этого файла можно запретить поисковым системам индексировать любые страницы сайта, метки, категории, комментарии и прочее. Благодаря этому поисковый робот, когда «заходит» на сайт не индексирует все записи, а только те, которые было разрешено индексировать. Другими словами это своеобразные команды поисковым роботам что нужно индексировать, а что не нужно.

Если у вас есть блог или сайт и на нем нет файла robots.txt, вам обязательно нужно его создать. Для этого откройте блокнот на компьютере и вставьте туда следующее:

User-agent: *
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag

User-agent: Yandex
Disallow: /cgi-bin
Disallow: /wp-admin
Disallow: /wp-includes
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Disallow: /trackback
Disallow: */trackback
Disallow: */*/trackback
Disallow: */*/feed/*/
Disallow: */feed
Disallow: /*?*
Disallow: /tag
Host: paulkrek.ru
Sitemap: http://paulkrek.ru/sitemap.xml.gz
Sitemap: http://paulkrek.ru/sitemap.xml
Единственное что нужно сделать здесь, так это поменять адрес моего блога на адрес вашего ресурса. Затем сохраните этот файл под именем robots.txt и закачайте в корневую папку вашего сайта
на хостинге. Напоминаю, что называется корневая папка public_html. Не переживайте, все будет отлично работать!

В избранное