Сегодня я расскажу вам о том, как правильно создать файл robots.txt для сайта на wordpress.

Наверняка вы знаете, что этот файл обязательно нужен для продвижения блога и любого сайта. Вообще в оптимизации сайта и его продвижении есть много тонкостей. Одной такой тонкостью является правильное составление файла robots txt для сайта.

Чаще всего я работаю с wordpress, да и блоги в основном сидят на этой системе. Поэтому я расскажу о robots txt для сайта на wordpress.

Обычно этот файл используют, чтобы закрыть от индексации определенные страницы сайта. Здесь же вы прописываете главное зеркало сайта (с www или без этих букв). Кроме того, в файле robots.txt находится путь к файлу sitemap.xml (карта сайта).

Читать продолжение в источнике:

http://royal-site.ru/wordpress/pravilnyj-robots-txt-dlya-sajta-wordpress/

robots.txt рекомендуемый разработчиками wordpressrobots.txt рекомендуемый разработчиками wordpress