Отправляет email-рассылки с помощью сервиса Sendsay
  Все выпуски  

Как создать свой сайт? Что такое robots.txt и как его создать?


файл
robots.txt

Что такое robots.txt и для чего он нужен?

Robots.txt — текстовый файл, расположенный на сайте, который предназначен для роботов поисковых систем. В этом файле вебмастер может указать параметры индексирования своего сайта, как для всех роботов сразу, так и для каждой поисковой системы по отдельности.
Проще говоря, этот текстовый файл, который расположен на хостинге вашего сайта, является администратором для роботов поисковых систем. Он показывает роботам, какие страницы можно и нужно вносить в выдачу поисковых запросов, какие страницы содержат полезную информацию для ваших посетителей, а какие лучше закрыть от общего доступа. [читать далее...]


В избранное