1. Почему так важно управлять индексацией сайта
2. Как можно запретить индексацию отдельных частей сайта
3. Robots.txt — директива user-agent и боты поисковых систем
4. Примеры использования директив Disallow и Allow
5. Директивы Sitemap и Host (для Яндекса)
6. Проверка robots.txt в Яндексе и Гугле, примеры ошибок
7. Мета-тег Robots — помогает закрыть дубли контента
8. Как создать правильный роботс.тхт?

Robotx.txt позволяет создавать запреты на индексацию сайта в Яндексе и Гугле ненужных файлов и текстов. Как создать правильный robots.txt для Joomla и WordPress  Редуксин-лайт купить в Москве, похудение отзывы - как похудеть быстро!

Читайте также >>>