Файл robots.txt указывает поисковым роботам какие страницы не нужно индексировать. В этом файле также ставится ссылка на карту сайта sitemap.xml
Файл robots.txt находится по адресу: http://url_вашего_блога/robots.txt
То есть, вам необходимо создать текстовый файл с помощью Блокнот (Пуск-Блокнот). Затем, вписать необходимые указания и сохранить его под именем robots.txt, закинуть в корневой каталог блога на сервере с помощью бесплатной программы FileZilla.
То есть, этот файл является своего рода инструкцией для поисковых роботов: поисковые роботы заходят на ваш блог, находят данный файл, анализируют и следуют инструкциям, написанным в файле.Файл robots.txt указывает поисковым роботам какие страницы не нужно индексировать. В этом файле также ставится ссылка на карту сайта sitemap.xml
Файл robots.txt находится по адресу: http://url_вашего_блога/robots.txt
То есть, вам необходимо создать текстовый файл с помощью Блокнот (Пуск-Блокнот). Затем, вписать необходимые указания и сохранить его под именем robots.txt, закинуть в корневой каталог блога на сервере с помощью бесплатной программы FileZilla.
То есть, этот файл является своего рода инструкцией для поисковых роботов: поисковые роботы заходят на ваш блог, находят данный файл, анализируют и следуют инструкциям, написанным в файле.

читать дальше