Отправляет email-рассылки с помощью сервиса Sendsay

Создание сайтов (HTML CSS PHP MySQL JavaScript ActionScript)

Рассылка закрыта

При закрытии подписчики были переданы в рассылку "Рассылка которая делает сайты..." на которую и рекомендуем вам подписаться.

Вы можете найти рассылки сходной тематики в Каталоге рассылок.

←   Февраль 2013   →
 1
 2
 3
 4
 5
 6
 7
 8
 9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
Автор
webonlife

Статистика

242 подписчиков
+35 за неделю
←   Все выпуски   →

Создание сайтов (HTML CSS PHP MySQL JavaScript ActionScript) Файл robots.txt



Для чего нужен robots.txt

Поисковым системам часто нужно сообщать что подлежит индексации а что индексировать нельзя. Для поисковых роботов для этой цели и создается файл robots.txt. Этот файл помогает роботам правильно проиндексировать ваш сайт. Также в нем указывается адрес карты сайта Sitemap.xml, который является еще более важным для правильной индексации.

 Как правильно должен называться файл robots.txt

Файл должен иметь расширение "txt" и никакое другое. Имя файла должно быть в нижнем регистре и именно "robots" (не "Robots" и не "robot"). Будьте внимательны так как если вы допустите ошибку в имени файла то роботы просто будут игнорировать его.

Как написать файл robots.txt

Набор команд для написания файла невелик и выучить их не составляет труда. Общий синтаксис команд такой:

<поле>:<пробел><значение><пробел>
<поле>:<пробел><значение><пробел>

 Существует четыре основных директивы для написания robots.txt: User-agent, Disallow, Host и Sitemap. После каждой из них ставится двоеточие и потом через пробел указывается значение.

 User-agent используется чтобы указать имя робота для которого будет указана команда. У каждого поискового робота есть свое имя и поэтому можно указать команду именно для этого робота. Имена роботов основных поисковых систем вы можете узнать здесь. Чтобы указать, что следующие команды для всех роботов используется символ "*". Пример:

User-agent: Yandex

User-agent: *

Disallow должна стоять хоть раз после каждого  User-agent. Она используется для указания страниц и каталогов запрещенных для индексации. Если директива не содержит значения то индексация разрешена полностью. Если указана страница или каталог (в конце каталога должен стоять слэш) то эта страница или этот каталог соответственно запрещены для индексации. Если стоит один слэш то индексация запрещена полностью. Примеры:

 Всем поисковым роботам разрешена индексация всего сайта (равносильно пустому файлу robots.txt):

User-agent: *
Disallow:

Разрешена индексация всего сайта всем поисковым роботам кроме Aport:

User-agent: *
Disallow:
User-agent: Aport
Disallow: /

Запретить индексацию каталога "admin" всем поисковым роботам:

User-agent: *
Disallow: /admin/

В директиве  "Host" указывается основное зеркало сайта (обычно имя сайта без www) :

Host: pirogoff.16mb.com

Чтобы указать адрес карты сайта Sitemap.xml (будет рассказано в следующем уроке) используется директива "Sitemap":

Sitemap: http://pirogoff.16mb.com/sitemap.xml

Путь к карте сайта указывается полностью.

Чтобы узнать немного больше зайдите на мой сайт в соответствующий раздел.

Назад  Содержание  Вперед

На этом все, успехов! =)
В избранное