Открытая группа
53034 участника
Администратор Хомиченко Владимир
Модератор Snick
Модератор Horov
Модератор Recrut
Модератор JoomlaSecrets.ru
Модератор В ТОП 10
Модератор Smart Payment
Модератор Yury Smirnov

Активные участники:


←  Предыдущая тема Все темы Следующая тема →
protey19***@m*****.ru пишет:

Что такое Robots.txt и для чего он нужен?

Robots.txtДоброго времени суток, уважаемые читатели Techresearh.ru! Сегодня в разделе, посвященном внешней поисковой оптимизации , размещаю очередную статью. Посвящена она будет маленькому, но очень важному для правильного продвижения вашего сайта, файлу robots.txt. Наверное, многие из вас уже знают, что это за файл и за что он отвечает. Для тех, кто не знает, скажу, что файл robots.txt обитает в корневых директориях сайтов и содержит в себе различные директивы, по которым поисковые роботы ориентируются в том, как правильно индексировать веб-ресурсы. Директивы могут запрещать роботам, например, индексировать тот или иной раздел сайта. Таким разделом может стать администраторская панель или материал, который вы по какой-то причине хотите скрыть от индексации поисковыми системами. Также в директивах можно принудительно указать каталог для индексации, запретить индексацию роботу определенной поисковой системы, задать основное зеркало сайта или указать расположение файла карты сайта. Более подробно я рассмотрю каждую директиву ниже.

Подробнее...

Это интересно
+4
 

protey19***@m*****.ru 27.08.2012
Пожаловаться Просмотров: 2873  
←  Предыдущая тема Все темы Следующая тема →


Комментарии 8

Для того чтобы писать комментарии, необходимо

что произойдет, если не положили файл robots.txt?

...наверное, будет полный сайленс...Sealed

не уверен Smile

у меня были случаи, когда на сайте был интересный контент и поисковики плевали на отсутсвие robots.txt, метатегов... и прекрасно индексировали

это потом я уже узнал, что это "добавляет"

Писал про тишину ответа...прошло четыре часа...

А-а, вы об этом... многие авторы приходят в группы для трафика и на комменты почти не отвечают. 

А мне как раз наоборот в лом ходить на "подробнее"..

protey19***@m*****.ru 28.08.2012

Николай, не все круглосуточно сидят в сабскрайбе.При отсутствии robots.txt считается что робот ничем не ограничивается и может индексировать все что найдет. Но найти он может не все( если не указана карта сайта) или какую-то конфинденциальныю информацию. Пароли, акакунты и многое другое. Так уже было, например, с мегафоном, когда пауки яндекса проиндексировали базу смс-переписки на их сайте.Вторым, отнюдь не положительным моментом может стать возникновение кучи дубликатов страниц.Скорее всего я не все еще перечислил.Так что лучше написать пару строк роботса чем потом попасть в просак.

Да, согласен, это существенно и веско. Особенно интересен и показателен прокол с мегафоном Smile

Я тоже не сижу постоянно на сабскрайбе, просто у меня настроены уведомления о комментариях в моих темах. Вы то хоть ответили, а многие не отвечают.

Спасибо

 

главное с Allow не переборщить, не оставить его пустым, а то получится разрешить ничего :)

Представлен огромный каталог Android приложений для вашего смартфона, планшета или мобильного телефона на базе ОС Android версии 1.6 и выше.