Что то начало, какое то сексуальное. Но дальше только по делу, ничего личного. Вы знаете, что у каждого сайта есть свой Роботс на 100%.
Как избежать проблем в индексации страниц поисковыми системами, маневрируя построением robots.txt, если не особо понимаешь саму схему построения robots.txt или вообще не понимаешь что к чему.
Моя история построения файла robots.txt имеет отношение к сайту на движке WP http://infookno.ru/. Сначала я установил robots.txt по совету своего наставника безо всякого раздумья такого вида:
User-agent: *
Disallow: /wp-includes
Disallow: /wp-feed
Disallow: /wp-content/plugins
Disallow: /wp-content/cache
Disallow: /wp-content/themes
Host: infookno.ru
Sitemap: http://infookno.ru/sitemap.xml
User-agent: Googlebot-Image
Allow: /wp-content/uploads/
User-agent: YandexImages
Allow: /wp-content/uploads/
Объяснялось, что это самые необходимые директивы для ПС Yandex и Google.
Вкратце, говорилось, что Yandex нуждается в обязательном указании директивами, что именно можно, а что никак не желательно обходить роботами.
Но, не прошло и полгода, как сайт был проиндексирован приблизительно на 600 страниц. А реальных страниц то всего, в пять раз меньше. Вот тут и началась борьба.
Как я победил в этой борьбе за правильное построение Моего Robots.txt читайте далее в цикле из 5 статей, начиная, с этого места… Никаких предложений купить.
Это интересно
0
|
|||
Последние откомментированные темы:
-
Бизнес для пожилых людей
(1)
zelshag
,
14.02.2022
-
Как приготовить самсу в тандыре - пошаговая инструкция
(1)
фил
,
03.01.2022
-
Как стать миллионером с нуля?
(1)
ZEUS
,
20.12.2021
-
Как найти любимое занятие в жизни и реализовать себя в карьере?
(1)
Алексанждр
,
17.10.2021
-
Застенчивость: как избавиться и научиться знакомиться с людьми
(1)
Алексанждр
,
04.10.2021
20240425123510