Учитывая тот факт, что карта сайта представляет собой упорядоченный список ссылок на все статьи сайта, было бы неплохо использовать её в качестве помощника для индексации сайта поисковиками. Для этого был придуман специальный протокол sitemap, определяющий порядок записи ссылок и понятный для сканеров поисковых систем при индексации. С помощью файла sitemap.xml сайт сообщает поисковым системам о страницах, которые доступны для сканирования. Файл sitemap представляет собой XML-файл. В котором перечислены URL-адреса объектов сайта в сочетании с метаданными, связанными с каждым адресом: дата его последнего изменения; частота изменения; его приоритет на уровне сайта, чтобы поисковые системы могли более грамотно сканировать этот сайт.

Роботы обычно находят страницы по ссылкам, указанным на сканируемом сайте и на других сайтах. Эта информация, дополненная данными из файлов sitemap.xml, позволяет роботам найти все URL записанные в файле sitemap.xml и собрать информацию об этих URL с помощью связанных метаданных. Как правило файл sitemap.xml располагается в корневой папке сайта.

Читать далее...