Поисковые системы ранее отдельно рассматривались нами в специальных выпусках рассылки, разбирались механизмы и спецификации их работы. Напомню — общий принцип работы поисковых систем — 16 выпуск, Яндекс — 17 выпуск, Рамблер — 18 и 19, Гугл — 20, Апорт — 22.

На этот раз я хочу предложить вашему вниманию небольшой анализ особенностей работы собственно пауков — систем занимающихся поиском новых документов и скачиванием их на веб-сервер ИПС для дальнейшей индексации.

Итак, все приведенные ниже данные были получены в результате анализа лог-файлов семи веб-серверов располагающихся в зонах .ru. com и .biz. IP-адреса российских хостеров. Все сайты содержат текст на русском языке и постоянно обновляются. Рассматриваемые ресурсы относятся к сайтам средней категории, т.е. до 10 тыс. веб-страниц. При изучении лог-файлов основной упор делался на рассмотрение файлов robots.txt и индексной страницы.

Yandex/1.01.001

Максимальный интервал обращения к robots.txt и index составляет три дня. За месяц робот обращается к robots.txt до 13 раз. Как правило, при обращении к серверу робот в начале запрашивает robots.txt и главную, и только затем скачивает часть остальных страниц. Интервал ресканирования остальных документов увеличивается с глубиной их расположения на веб-сервере.

StackRambler/2.0

Обращение к robots.txt происходит с интервалом ровно в 7 дней. Ресканирование индексной страницы — в среднем 2–3 дня. После сканирования robots.txt в течение недели робот скачивает часть последующих файлов. По прошествии 7 дней вновь запрашивает robots.txt и далее сканит остальные документы.

Aport

Интервал ресканирования Апорта по моим данным составляет 50 дней. Отличительной особенностью этого паука является то, что он скачивает документы в один день. В начале он обращается robots.txt и затем скачивает все остальные документы на определенную глубину (или размер). В принципе, за один раз Апорт может полностью скачать небольшой сайт.

Сайты подписчиков

«Мы предлагаем Вам возможность продвинуть Ваш сайт!»
Просто пришлите его краткое описание и он появится в рассылке. Заполнить форму >>
Тем, кто уже участвует в нашей программе и держит нашу ссылку на своих страницах, я напоминаю, что повторное размещение вашей информации происходит через 5 - 6 выпусков. Этим самым вы не только привлечете дополнительных посетителей на свой сайт, но, главное, увеличите цитируемость вашего ресурса! Все выпуски "Марио" размещаются в архивах почтовых служб и свободно индексируются ПС.

/!\ Внимание, прежде чем заполнить нашу форму хорошенько подумайте о названии ресурса, т.е. о тексте ссылки. Примечание: сайты участников, указавших при регистрации неверную информацию (выявляется при модераторской проверке) публиковаться в рассылке не будут.

Бурение & Водоснабжение Сайт компании предлагающей услуги по бурению, водоснабжению, отоплению. А также широкий спектр продукции: котлы, трубы, радиаторы, насосы, баки, фильтры.	Союз свободных электриков Этот портал создан для специалистов, организаций, магазинов, учебных заведений работающих в сфере электрификации и сантехнических систем, обмена опытом, поиска работы.

Клуб "ПРОСВЕЩЕННАЯ ЛЮБОВЬ" Хочется любить и быть любимым(ой), а любви все нет или наоборот слишком большая, неразделенная любовь донимает, да и мало ли какие у вас любовные проблемы. Заходите, поможем.	Магазин в котором можно купить постер или плакат Большое разнообразие постеров и плакатов на самые разные темы: кино, музыка, фотографии, приколы, люди. Низкая цена, доставка по всей России.

Группа компаний Энерготест Поставки газоаналитического, диагностического, контрольно-измерительного оборудования и приборов. Газоанализаторы портативные и стационарные, расходомеры ультразвуковые, пирометры, электроанализаторы, тепловизоры и проч.	Юридические услуги для Вашего Бизнеса Регистрация, ликвидация предприятий (фирм), продажа готовых ООО, ЗАО и тп., а также внесение изменений названия юридического лица, адреса, уставного капитала, видов деятельности... Лицензирование. Регистрация ценных бумаг в ФКЦБ. МАП.

АЛАС Интеллектуальная энергия Активное оборудование, пассивное оборудование, телефония, монтажные работы, системы безопасности, ИБП постоянного тока, ИБП переменного тока, ДГУ, Аккумуляторы, Компьютеры, Ноутбуки и аксессуары. Интеллектуальное здание.	CD IGREK – CD и DVD диски в Ваш почтовый ящик! Интернет-магазин CD и DVD дисков - розница, опт. Доставка почтой во все страны мира! Парадоксы, факты, ассоциации из мира кино - ежедневное обновление!

Тонировка-Авто Сеть салонов по тонированию автомобилей - тонирование, бронирование, тюнинг автомобилей. Повышенные требования к квалификации персонала, высокое качество проведения работ, применение современного оборудования и инструментов, разумные цены, индивидуальный подход к клиенту и его машине.	Все о бизнесе в Сети для начинающего манимейкера как создать свой бизнес в Сети. Книги, статьи об электронной коммерции. Заработок в Сети. Как заработать на спонсорах, пирамидах. Самый надежный кликовый спонсор и самая лучшая автоматизированная пирамида. Все для начинающего манимейкера.

Добавить сайт

Интерактив

Если у Вас возникли какие-нибудь вопросы, пожелания или предложения сотрудничества или же вы хотите узнать что-то более детальней пишите.

Свои вопросы вы также можете оставлять и на нашем форуме в специальном разделе Продвижение и раскрутка сайтов.

Задать свой вопрос

При перепечатке материалов ссылка на Информинг.ру обязательна!
Ответственный за выпуск - Иван Хейгетян

Рейтингуется SpyLOG

http://subscribe.ru/
http://subscribe.ru/feedback/

Подписан адрес:
Код этой рассылки: inet.webbuild.mario

Отписаться

В избранное

{#template MAIN} <div id="loginForm" style="display:none;" class="subscriberu_popup"> <div class="popup_register"> {#include js_tmpl_auth_reg_tab} {#if $P.login_register_tab == 1} <form class="authentication-form" method="post" action="/MEMBERLOGIN_authen_cred"> <dl class="rg_block_options"> <dt id="js_tap_panel_auth"> <h1>Войти на сайт</h1> {* {#include js_tmpl_auth_reg_button} *} {#include js_tmpl_auth_reg_action} <hr class="logreg_line noPhones"> <div class="logreg_descr noPhones"><p>{#include js_tmpl_auth_reg_descr} </p></div> <div class="logreg_advice noPhones"> Если вы еще не с нами, то начните с <a href="#" onclick="rgNav('js_tab_reg');return false;" class="dashed" data-func="registr">регистрации</a> </div> <br><br> <a class="dashed auth-enter" href="/manage/author/"><b>Вход для авторов</b></a> </dt> </dl> </form> {#/if} {#if $P.login_register_tab == 2} <div class="rg_block_options"> <div id="js_tap_panel_auth"> <h1>Регистрация</h1> <div class="social_reg"> {* <div class="rg_description">{#include js_tmpl_soc_auth_reg_descr}</div> *} {#include js_tmpl_auth_reg_soc} <div class="rg_soc_auth_agree">{#include js_tmpl_auth_reg_agree}</div> </div> <div class="subscribe_reg"> {* <div class="rg_description"> #include js_tmpl_auth_reg_descr </div> *} {#include js_tmpl_auth_reg_action} </div> {* {#include js_tmpl_auth_reg_button} *} <div class="clr"> </div> <hr class="logreg_line noPhones"> <div class="logreg_descr noPhones">{#include js_tmpl_auth_reg_descr} {#include js_tmpl_soc_auth_reg_descr} </div> </div> </div> {#/if} </div> {* <div class="gray_bg register_shadow"></div> *} </div> {#/template MAIN} {#template js_tmpl_auth_reg_tab} <ul class="rg_nav"> <li id="js_tab_auth" class="{#if $P.login_register_tab == 1} rg_active_nav {#/if} rg_first_nav"><a onclick="rgNav('js_tab_auth');return false;" href="">Вход на сайт</a></li> <li id="js_tab_reg" class="{#if $P.login_register_tab == 2} rg_active_nav {#/if}"><a onclick="rgNav('js_tab_reg');return false;" href="">Регистрация </a></li> </ul> <span onclick="hidebo();" class="rg_closed"> </span> {#/template js_tmpl_auth_reg_tab} {#template js_tmpl_auth_reg_action} {#if $P.login_register_tab == 1} {#include js_tmpl_auth_reg_soc} {#/if} <div class="rg_forms"> <input type="hidden" id="login_register_destination" value="{$P.login_register_destination}"/> {#if $P.login_register_tab == 1} <div class="rg_for_input"> <span class="rg_text_inner">E-mail или код подписчика</span> <input id="credential_0" class="js_keydown_selector rg_input_text" data-js_submit="no" data-js_next_input_name="credential_1" name="" type="text" /> </div> <div class="rg_for_input"> <span class="rg_text_inner">Пароль</span> <input id="credential_1" class="js_keydown_selector rg_input_text" data-js_submit="yes" data-js_action="js_loginFormBut" name="" type="password" onkeyup="showAttention(this,!!window.event.shiftKey)" /> <span class="pswd_attention" id="attention_pswd"> <span class="icon_attention"></span> <span class="pswd_attention-text" id="attention-text_pswd1">Русская раскладка клавиатуры!</span> <span class="pswd_attention-text" id="attention-text_pswd2">У вас включен Caps Lock!</span> <span class="pswd_attention-text" id="attention-text_pswd3">У вас включен Caps Lock и русская раскладка клавиатуры!</span> </span> </div> <div class="rg_for_input input-alien"> <span class="chk noPhones"><input id="chk_alien" name="" type="checkbox" /></span><label for="chk_alien" class="noPhones"> Чужой компьютер</label> <a class="forgot_pass" href="/member/totalrecall">Забыли пароль?</a> </div> <div class="rg_for_input"> <em id="auth_msg" class="reg_error"></em> <input id="lf_typeauthid" value="email" type="hidden"> <input type="submit" class="button button-red logreg_submit" id="js_loginFormBut" value="Войти">  <div class="loading loading-cover" style="display: none;"><div class="loader"></div></div> </div> {#/if} {#if $P.login_register_tab == 2} <div class="rg_for_input"> <span class="rg_text_inner">E-mail</span> <input id="arfemail" class="js_keydown_selector rg_input_text" name="" type="text" data-js_submit="yes" data-js_action="js_regFormBut"/> </div> <div class="rg_for_input rg_set_lineh rg_for_input_wide"> <label class="js_tap_panel_checkbox"> <span class="chk"><input name="" id='js_tap_panel_checkbox_terms' type="checkbox" data-js_submit="yes" /></span> Я ознакомился и согласен с <a class="link_txd logreg_accLink" href="/faq/vereinbarung.html">условиями сервиса Subscribe.ru</a> </label> <br /> <label class="js_tap_panel_checkbox"> <span class="chk"><input name="" id='js_tap_panel_checkbox_personal' type="checkbox" data-js_submit="yes" /></span> Нажимая на кнопку "Готово!", я даю <a class="link_txd logreg_accLink" href="/faq/persverordnung.html">согласие на обработку персональных данных</a> </label> </div> {* <div style="float: left;position: absolute;left: 11em;"> <img src="http://www.kupivip.ru/images/vip/logo.png?1604" style="width: 86px; vertical-align: middle;display: block;"> </div> <div class="rg_for_input rg_set_lineh"> <label class="js_tap_panel_checkbox"><input name="" id="js_tap_panel_checkbox_kupivip" type="checkbox" data-js_submit="yes"> Я хочу получать новости о скидках на одежду</label> </div> *} <div class="rg_for_input"> <em id="reg_msg" class="reg_error rg_for_input_wide"></em> <em id="reg_msg2" class="reg_error rg_for_input_wide"></em> <input id="rf_typeauthid" value="email" type="hidden"> <a class="button button-red logreg_submit" id="js_regFormBut" href="#">Готово!</a> <div class="loading loading-cover" style="display: none;"><div class="loader"></div></div> </div> {#/if} </div> {#/template js_tmpl_auth_reg_action} {#template js_tmpl_auth_reg_agree} <div class="rg_for_input rg_set_lineh rg_for_input_wide"> <label class="js_tap_panel_checkbox"> <span class="chk"><input name="" id='js_tap_panel_checkbox_terms_reg' type="checkbox" data-js_submit="yes" /></span> Я ознакомился и согласен с <a class="link_txd logreg_accLink" href="/faq/vereinbarung.html">условиями сервиса Subscribe.ru</a></label> <em id="reg_msg_soc" class="reg_error rg_for_input_wide"></em> </div> {#/template js_tmpl_auth_reg_agree} {#template js_tmpl_auth_reg_button} <div class="rg_butons_socials"> {#if $P.login_register_tab == 1} <a class="rg_btn_soc rg_bs_01 js_tap_panel_selector" action="auth_email" href="#"><span><i></i>Email</span></a> <a class="rg_btn_soc rg_bs_01 js_tap_panel_selector" action="auth_openid" href="#"><span><i></i>OpenID</span></a> <a class="rg_btn_soc rg_bs_02 js_tap_panel_selector" action="auth_vkontakte" href="#"><span><i></i>Вконтакте</span></a> <a class="rg_btn_soc rg_bs_02 js_tap_panel_selector" action="auth_mailru" href="#"><span><i></i>Mail.Ru</span></a> {#/if} {#if $P.login_register_tab == 2} <a class="rg_btn_soc rg_bs_01 js_tap_panel_selector" action="reg_email" href="#"><span><i></i>Email</span></a> <a class="rg_btn_soc rg_bs_01 js_tap_panel_selector" action="reg_openid" href="#"><span><i></i>OpenID</span></a> <a class="rg_btn_soc rg_bs_02 js_tap_panel_selector" action="reg_vkontakte" href="#"><span><i></i>Вконтакте</span></a> <a class="rg_btn_soc rg_bs_02 js_tap_panel_selector" action="reg_mailru" href="#"><span><i></i>Mail.Ru</span></a> {#/if} </div> {#/template js_tmpl_auth_reg_button} {#template js_tmpl_auth_reg_descr} {#if $P.login_register_tab == 1} Для оформления подписки на выбранную рассылку, работы с интересующей вас группой или доступа в нужный вам раздел, просим авторизоваться на Subscribe.ru {#/if} {#if $P.login_register_tab == 2} Для регистрации укажите ваш e-mail адрес. Адрес должен быть действующим, на него сразу после регистрации будет отправлено письмо с инструкциями и кодом подтверждения. {#/if} {#/template js_tmpl_auth_reg_descr} {#template js_tmpl_soc_auth_reg_descr} Или зарегистрируйтесь через социальную сеть. {#/template js_tmpl_soc_auth_reg_descr} {#template js_tmpl_auth_reg_soc} <div class="rg_soc"> {#if $P.login_register_tab == 1} <a onclick="return _checkSocConfirm(event)" href="https://oauth.vk.com/authorize?client_id=3954260&scope=wall,offline,photos,groups,video,audio,email&redirect_uri={location.protocol+'//'+location.host}/member/login/vk/&response_type=code&v=5.15" class="login_register_vk_button"> <span class="login_register_vk_icon"></span> </a> {#/if} {#if $P.login_register_tab == 2} <a onclick="return _checkSocConfirm(event)" href="https://oauth.vk.com/authorize?client_id=3954260&scope=wall,offline,photos,groups,video,audio,email&redirect_uri={location.protocol+'//'+location.host}/member/join/vk&response_type=code&v=5.15" class="login_register_vk_button"> <span class="login_register_vk_icon"></span> </a> {#/if} </div> {#/template js_tmpl_auth_reg_soc}

{#template MAIN} <div id="loginForm" style="display:none;" class="subscriberu_popup"> <div class="popup_register"> {#include js_tmpl_auth_reg_tab} <dl class="rg_block_options"> <dt id="js_tap_panel_auth"> <p class="rg_description">{#include js_tmpl_auth_reg_descr}</p> <div class="clr"> </div> {#include js_tmpl_auth_reg_action} <div class="clr"> </div> </dt> </dl> </div>  </div> {#/template MAIN} {#template js_tmpl_auth_reg_tab} <ul class="rg_nav"> <li id="js_tab_reg" class="rg_active_nav rg_first_nav"><a href="" onclick="return false;" >Регистрация</a></li> </ul> <span onclick="hidebo();" class="rg_closed"> </span> {#/template js_tmpl_auth_reg_tab} {#template js_tmpl_auth_reg_descr} <strong>Пожалуйста, подтвердите ваш адрес.</strong><br><br>Вам отправлено письмо для подтверждения вашего адреса {$P.register_confirm_mail}.<br>Для подтверждения адреса перейдите по ссылке из этого письма. {#/template js_tmpl_auth_reg_descr} {#template js_tmpl_auth_reg_action} <div class="rg_forms confirm_code_from_letter"> <div class="rg_for_input"> <span class="rg_inp_descr" style="width:15em;">Или введите код из письма:</span> <input type="text" value="" id="confirm_code" name="" data-js_submit="yes" data-js_action="js_confirmFormBut" class="js_keydown_selector rg_input_text_conf" > </div> <div class="rg_for_input"><label>Не пришло письмо? <b>Пожалуйста, проверьте папку Спам</b><br /> (папку для нежелательной почты).</label><br /> <a href="" onclick="ajax_recall_code();return false" >Вышлите мне письмо еще раз!</a></div> <div class="rg_for_input"> <em class="reg_error" id="confirm_msg"></em> <a href="#" class="button button-red" id="js_confirmFormBut">Готово</a> <div class="loading loading-cover" style="display: none;"><div class="loader"></div></div> <br> </div> </div> {#/template js_tmpl_auth_reg_action}

Методы активной раскрутки и оптимизации

Рассылка закрыта

Статистика

Методы активной раскрутки и оптимизации

Раскрутка сайта & Поисковые системы: «Методы активной раскрутки и оптимизации»

Особенности работы поисковых ботов

Сайты подписчиков

Интерактив

Раскрутка сайта & Поисковые системы:
«Методы активной раскрутки и оптимизации»