Как создать блог, раскрутить и заработать Как создать файл robots.txt
Что же это за файл такой? С помощью этого файла можно запретить поисковым системам индексировать любые страницы сайта, метки, категории, комментарии и прочее. Благодаря этому поисковый робот, когда «заходит» на сайт не индексирует все записи, а только те, которые было разрешено индексировать. Другими словами это своеобразные команды поисковым роботам что нужно индексировать, а что не нужно.
Если у вас есть блог или сайт и на нем нет файла robots.txt, вам обязательно нужно его создать. Для этого откройте блокнот на компьютере и вставьте туда следующее:
Единственное что нужно сделать здесь, так это поменять адрес моего блога на адрес вашего ресурса. Затем сохраните этот файл под именем robots.txt и закачайте в корневую папку вашего сайта
на хостинге. Напоминаю, что называется корневая папка public_html. Не переживайте, все будет отлично работать!