При написании этого поста о мета-тегах robots я опираюсь на информацию Google Webmaster Central "Использование robots мета-тег", кроме того, Yahoo и Microsoft (Bing) также прислали мне информацию об использовании мета-тега. Я проанализировал всю эту информацию, и привожу результат своего анализа ниже, на
наглядных примерах для сравнения.