Файл Robots.txt – это простой текстовый файл, который создается и размещается в корневом каталоге блога на WordPress и отвечает за поведение поисковых роботов на сайте.
Файл для WordPress robots.txt — используется, в основном, для ограничения доступа поисковых роботов (еще их называют поисковыми ботами) к индексации некоторых разделов или файлов вашего сайта.
Если этот файл отсутствует, то поисковые боты будут индексировать все, что размещено в корневой папке вашего сайта, включая системные папки CMS WordPress, страницы регистрации, авторизации или админ-панель.
Это приводит к тому, что поисковый робот на индексацию вашего сайта тратит слишком много времени и может пропустить или вовсе не проиндексировать нужные страницы.
Другими словами, при помощи специальных директив файла robots.txt для WordPress, мы сами указываем поисковым ботам что нужно индексировать, а что желательно пропустить. В поиск Google или Яндекс попадает только нужная нам информация. В основном это главная страница и страницы с записями.
Кроме этого, файл robots.txt играет большую роль в поисковой SEO-оптимизации сайта. В файле прописывается специальная директива, в которой указывается путь к файлу sitemap.xml с картой сайта, которая указывает поисковым ботам какие страницы необходимо проиндексировать . Это приводит к быстрой индексации новых записей вашего блога.
Это интересно
0
|
|||
Последние откомментированные темы:
-
Лучшие инструменты для трекинга SERP в 2021 году: 3 лучших по мнению Digital Expert
(1)
David
,
23.12.2021
-
SEO анализ сайта: зачем он Вам и как его делать
(1)
reznikas123
,
01.04.2021
-
«SEO-перезагрузка 2019. Как получать бесплатный трафик с поисковых систем в 2019 году»
(4)
agor5
,
30.08.2019
-
(ВАЖНО! Владельцам сайтов) Как публиковать анонсы в группе
(35)
master284
,
16.05.2019
20251028015514