Подписаться Бесплатная «Серебряная» новостная рассылка Подписчиков 1.015 RSS

← Апрель 2010 →
	1	2	3	4
5	6	7	8	9	10	11
12	13	14	15	16	17	18
19	20	21	22	23	24	25
26	27	28	29	30

За последние 60 дней 8 выпусков (3-4 раза в месяц)

Сайт рассылки: http://www.soobshestva.ru/
Открыта: 25-04-2007

Автор

Лиза

Статистика

1.015 подписчиков
-3 за неделю

← Все выпуски →

Создание сайта от А до Я

	Блог Елизаветы Трибунской

Об авторе О блоге Отправить сообщение Лучшее

Апр
2010

Как устроен Яндекс

Автор: Lisa

Работа абсолютно любой поисковой системы, в том числе и поисковой системы Яндекс, совсем не так проста, как это может показаться конечному пользователю. Ежедневно мы совершаем десятки, сотни и даже тысячи запросов и моментально получаем результат, совершенно не задумываясь о том, какая цепочка связывает наш запрос и результат, который мы получаем на выходе. В этой статье мы постараемся пролить свет на этот процесс.

Начало работы

Все начинается с того, что сайт публикуется в Интернете. Однако поисковая система не сразу узнает об этом, и поэтому поисковой системе нужно дать знать о том, что появился новый сайт. В случае с Яндекс можно поступить двумя способами. Во-первых, можно указать адрес нового сайта в специальной форме на странице сайта компании Яндекс http://webmaster.yandex.ru/ или ждать, пока Яндекс узнает о вашем сайте благодаря гиперссылке с его координатами, расположенной на другом ресурсе. После того, как Яндекс получил ссылку на ваш сайт, он отправляет по ней робота (crawler), который с определенной периодичностью будет выкачивать информацию с вашего сайта. По принципу своего устройства поисковый робот очень напоминает обычный интернет-браузер, которым вы пользуетесь каждый день: робот сканирует содержимое страницы и переходит по указанным на ней ссылкам точно так же, как и вы переходите на другие страницы, кликнув по гиперссылке.

Роботы поисковой системы Яндекс

Яндекс использует роботов-пауков (краулер) для индексации страниц. Каждый поисковый паук посещает сайт с определенной целью. Узнать о том, зачем заходил паук Яндекса, можно по логам сервера, посмотрев строку User-agent:

Список роботов поисковой системы Яндекс

Yandex/1.01.001 (compatible; Win16; I) основной индексирующий роботYandex/1.01.001 (compatible; Win16; P) индексатор картинок (на основе данных этого робота осуществляется поиск по изображениям http://images.yandex.ru/ )

Yandex/1.01.001 (compatible; Win16; H) робот, определяющий зеркала сайтов. В Интернете зеркалом сайта называют точную копию другого сайта. Наиболее часто зеркала сайтов используются для предоставления нескольких источников одной и той же информации.

Yandex/1.02.000 (compatible; Win16; F) робот, индексирующий пиктограммы сайтов (favicons)

Yandex/1.03.003 (compatible; Win16; D) робот, обращающийся к странице при добавлении ее через форму «Добавить URL»

YaDirectBot/1.0 (compatible; Win16; I) робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса

YandexBlog/0.99.101 (compatible; DOS3.30; Mozilla/5.0; B; robot) робот поиска по блогам, индексирующий комментарии постов

Кроме роботов, у Яндекса есть несколько агентов-«простукивалок», которые определяют, доступен ли в данный момент сайт или документ, на который стоит ссылка в соответствующем сервисе.

Yandex/2.01.000 (compatible; Win16; Dyatel; C) «простукивалка» Яндекс.Каталога. Если сайт недоступен в течение нескольких дней, он снимается с публикации. Как только сайт начинает отвечать, он автоматически появляется в Каталоге.Yandex/2.01.000 (compatible; Win16; Dyatel; Z) «простукивалка» Яндекс.Закладок. Ссылки на недоступные сайты помечаются серым цветом.

Yandex/2.01.000 (compatible; Win16; Dyatel; D) «простукивалка» Яндекс.Директа. Она проверяет корректность ссылок из объявлений перед модерацией. Никаких автоматических действий не предпринимается.

Yandex/2.01.000 (compatible; Win16; Dyatel; N) «простукивалка» Яндекс.Новостей. Она формирует статистические отчеты для контент-менеджера и информирует его о возможных проблемах у партнеров-поставщиков новостей.

Вопреки распространенному мнению, нужно отметить, что Яндекс индексирует документы, созданные при помощи технологии flash. Однако вопрос качества в данном случае пока оставляет желать много лучшего. Если на вашем сайте кроме html размещены документы в форматах PDF, DOC, RTF , то они без проблем будут проиндексированы.

Робот-паук безостановочно скачивает новые документы и обновляет устаревшие. В определенный момент индексирующая программа решает, что этих данных достаточно и начинает формировать новую базу, рассчитывать факторы, которые требуют анализа всех проиндексированных страниц. Все факторы: текст, ссылки и другие меняются согласованно (то есть мнение, что расчет ссылочных факторов делается реже, чем индексация, это миф).

Новую базу выкладывают сразу на все кластеры — этот процесс можно обозначит как апдейт – результат обновления базы поисковой системы (обновленная база мгновенно заменяет старую), но из-за сложной архитектуры поискового кластера и наличия кеширования это изменение видят не все пользователи одновременно.[1]

Поведением робота на сайте можно управлять, а именно указать ему маршрут передвижения по внутренним ссылкам. Это делается при помощи файла robots.txt.

Проверить наличие своего сайта в индексе поисковой системы Яндекс можно следующим образом. В строке поиска Яндекс нужно ввести следующий параметр url=»www.example.com», где example.com — ваш сайт.

Балансировка нагрузки в поиске Яндекс

Каждый день Яндекс обслуживает приблизительно 30 000 000 пользовательских запросов. Всего в базе Яндекса на текущий момент находится около 3 000 000 000 документов. Эти 3 000 000 000 документов представляют собой т.н. «порезанный интернет» – скаченные и хранящиеся в базе данных Яндекса документы веб-страниц. Таким образом, составленный вами запрос в окне поиска попадает на сервер «метапоиска», откуда он в последствии перебрасывается на сотни серверов, где происходит обработка данных. С каждого из таких серверов подбирается 10 наиболее релевантных ответов, которые передаются на сервер «метапоиска», где в свою очередь выдача также сортируется по релевантности и только потом отдается вам в виде HTML документа. За время одного запроса может быть обработано несколько сотен мегабайт данных. Таким образом мы видим, насколько большие создаются нагрузки. Естественно процесс обработки данных в данном случае нуждается в оптимизации и для этого поисковая система Яндекс использует кэширование. В широком смысле слова кэширование — это промежуточный буфер с быстрым доступом, содержащий копию той информации, которая хранится в памяти с менее быстрым доступом.

Представим ситуацию, когда множество пользователей обращаются к поисковой системе с одним и тем же запросом. Логично, что поисковая система не...

Рубрики

В избранное

{#template MAIN} <div id="loginForm" style="display:none;" class="subscriberu_popup"> <div class="popup_register"> {#include js_tmpl_auth_reg_tab} {#if $P.login_register_tab == 1} <form class="authentication-form" method="post" action="/MEMBERLOGIN_authen_cred"> <dl class="rg_block_options"> <dt id="js_tap_panel_auth"> <h1>Войти на сайт</h1> {* {#include js_tmpl_auth_reg_button} *} {#include js_tmpl_auth_reg_action} <hr class="logreg_line noPhones"> <div class="logreg_descr noPhones"><p>{#include js_tmpl_auth_reg_descr} </p></div> <div class="logreg_advice noPhones"> Если вы еще не с нами, то начните с <a href="#" onclick="rgNav('js_tab_reg');return false;" class="dashed" data-func="registr">регистрации</a> </div> <br><br> <a class="dashed auth-enter" href="/manage/author/"><b>Вход для авторов</b></a> </dt> </dl> </form> {#/if} {#if $P.login_register_tab == 2} <div class="rg_block_options"> <div id="js_tap_panel_auth"> <h1>Регистрация</h1> <div class="social_reg"> {* <div class="rg_description">{#include js_tmpl_soc_auth_reg_descr}</div> *} {#include js_tmpl_auth_reg_soc} <div class="rg_soc_auth_agree">{#include js_tmpl_auth_reg_agree}</div> </div> <div class="subscribe_reg"> {* <div class="rg_description"> #include js_tmpl_auth_reg_descr </div> *} {#include js_tmpl_auth_reg_action} </div> {* {#include js_tmpl_auth_reg_button} *} <div class="clr"> </div> <hr class="logreg_line noPhones"> <div class="logreg_descr noPhones">{#include js_tmpl_auth_reg_descr} {#include js_tmpl_soc_auth_reg_descr} </div> </div> </div> {#/if} </div> {* <div class="gray_bg register_shadow"></div> *} </div> {#/template MAIN} {#template js_tmpl_auth_reg_tab} <ul class="rg_nav"> <li id="js_tab_auth" class="{#if $P.login_register_tab == 1} rg_active_nav {#/if} rg_first_nav"><a onclick="rgNav('js_tab_auth');return false;" href="">Вход на сайт</a></li> <li id="js_tab_reg" class="{#if $P.login_register_tab == 2} rg_active_nav {#/if}"><a onclick="rgNav('js_tab_reg');return false;" href="">Регистрация </a></li> </ul> <span onclick="hidebo();" class="rg_closed"> </span> {#/template js_tmpl_auth_reg_tab} {#template js_tmpl_auth_reg_action} {#if $P.login_register_tab == 1} {#include js_tmpl_auth_reg_soc} {#/if} <div class="rg_forms"> <input type="hidden" id="login_register_destination" value="{$P.login_register_destination}"/> {#if $P.login_register_tab == 1} <div class="rg_for_input"> <span class="rg_text_inner">E-mail или код подписчика</span> <input id="credential_0" class="js_keydown_selector rg_input_text" data-js_submit="no" data-js_next_input_name="credential_1" name="" type="text" /> </div> <div class="rg_for_input"> <span class="rg_text_inner">Пароль</span> <input id="credential_1" class="js_keydown_selector rg_input_text" data-js_submit="yes" data-js_action="js_loginFormBut" name="" type="password" onkeyup="showAttention(this,!!window.event.shiftKey)" /> <span class="pswd_attention" id="attention_pswd"> <span class="icon_attention"></span> <span class="pswd_attention-text" id="attention-text_pswd1">Русская раскладка клавиатуры!</span> <span class="pswd_attention-text" id="attention-text_pswd2">У вас включен Caps Lock!</span> <span class="pswd_attention-text" id="attention-text_pswd3">У вас включен Caps Lock и русская раскладка клавиатуры!</span> </span> </div> <div class="rg_for_input input-alien"> <span class="chk noPhones"><input id="chk_alien" name="" type="checkbox" /></span><label for="chk_alien" class="noPhones"> Чужой компьютер</label> <a class="forgot_pass" href="/member/totalrecall">Забыли пароль?</a> </div> <div class="rg_for_input"> <em id="auth_msg" class="reg_error"></em> <input id="lf_typeauthid" value="email" type="hidden"> <input type="submit" class="button button-red logreg_submit" id="js_loginFormBut" value="Войти">  <div class="loading loading-cover" style="display: none;"><div class="loader"></div></div> </div> {#/if} {#if $P.login_register_tab == 2} <div class="rg_for_input"> <span class="rg_text_inner">E-mail</span> <input id="arfemail" class="js_keydown_selector rg_input_text" name="" type="text" data-js_submit="yes" data-js_action="js_regFormBut"/> </div> <div class="rg_for_input rg_set_lineh rg_for_input_wide"> <label class="js_tap_panel_checkbox"> <span class="chk"><input name="" id='js_tap_panel_checkbox_terms' type="checkbox" data-js_submit="yes" /></span> Я ознакомился и согласен с <a class="link_txd logreg_accLink" href="/faq/vereinbarung.html">условиями сервиса Subscribe.ru</a> </label> <br /> <label class="js_tap_panel_checkbox"> <span class="chk"><input name="" id='js_tap_panel_checkbox_personal' type="checkbox" data-js_submit="yes" /></span> Нажимая на кнопку "Готово!", я даю <a class="link_txd logreg_accLink" href="/faq/persverordnung.html">согласие на обработку персональных данных</a> </label> </div> {* <div style="float: left;position: absolute;left: 11em;"> <img src="http://www.kupivip.ru/images/vip/logo.png?1604" style="width: 86px; vertical-align: middle;display: block;"> </div> <div class="rg_for_input rg_set_lineh"> <label class="js_tap_panel_checkbox"><input name="" id="js_tap_panel_checkbox_kupivip" type="checkbox" data-js_submit="yes"> Я хочу получать новости о скидках на одежду</label> </div> *} <div class="rg_for_input"> <em id="reg_msg" class="reg_error rg_for_input_wide"></em> <em id="reg_msg2" class="reg_error rg_for_input_wide"></em> <input id="rf_typeauthid" value="email" type="hidden"> <a class="button button-red logreg_submit" id="js_regFormBut" href="#">Готово!</a> <div class="loading loading-cover" style="display: none;"><div class="loader"></div></div> </div> {#/if} </div> {#/template js_tmpl_auth_reg_action} {#template js_tmpl_auth_reg_agree} <div class="rg_for_input rg_set_lineh rg_for_input_wide"> <label class="js_tap_panel_checkbox"> <span class="chk"><input name="" id='js_tap_panel_checkbox_terms_reg' type="checkbox" data-js_submit="yes" /></span> Я ознакомился и согласен с <a class="link_txd logreg_accLink" href="/faq/vereinbarung.html">условиями сервиса Subscribe.ru</a></label> <em id="reg_msg_soc" class="reg_error rg_for_input_wide"></em> </div> {#/template js_tmpl_auth_reg_agree} {#template js_tmpl_auth_reg_button} <div class="rg_butons_socials"> {#if $P.login_register_tab == 1} <a class="rg_btn_soc rg_bs_01 js_tap_panel_selector" action="auth_email" href="#"><span><i></i>Email</span></a> <a class="rg_btn_soc rg_bs_01 js_tap_panel_selector" action="auth_openid" href="#"><span><i></i>OpenID</span></a> <a class="rg_btn_soc rg_bs_02 js_tap_panel_selector" action="auth_vkontakte" href="#"><span><i></i>Вконтакте</span></a> <a class="rg_btn_soc rg_bs_02 js_tap_panel_selector" action="auth_mailru" href="#"><span><i></i>Mail.Ru</span></a> {#/if} {#if $P.login_register_tab == 2} <a class="rg_btn_soc rg_bs_01 js_tap_panel_selector" action="reg_email" href="#"><span><i></i>Email</span></a> <a class="rg_btn_soc rg_bs_01 js_tap_panel_selector" action="reg_openid" href="#"><span><i></i>OpenID</span></a> <a class="rg_btn_soc rg_bs_02 js_tap_panel_selector" action="reg_vkontakte" href="#"><span><i></i>Вконтакте</span></a> <a class="rg_btn_soc rg_bs_02 js_tap_panel_selector" action="reg_mailru" href="#"><span><i></i>Mail.Ru</span></a> {#/if} </div> {#/template js_tmpl_auth_reg_button} {#template js_tmpl_auth_reg_descr} {#if $P.login_register_tab == 1} Для оформления подписки на выбранную рассылку, работы с интересующей вас группой или доступа в нужный вам раздел, просим авторизоваться на Subscribe.ru {#/if} {#if $P.login_register_tab == 2} Для регистрации укажите ваш e-mail адрес. Адрес должен быть действующим, на него сразу после регистрации будет отправлено письмо с инструкциями и кодом подтверждения. {#/if} {#/template js_tmpl_auth_reg_descr} {#template js_tmpl_soc_auth_reg_descr} Или зарегистрируйтесь через социальную сеть. {#/template js_tmpl_soc_auth_reg_descr} {#template js_tmpl_auth_reg_soc} <div class="rg_soc"> {#if $P.login_register_tab == 1} <a onclick="return _checkSocConfirm(event)" href="https://oauth.vk.com/authorize?client_id=3954260&scope=wall,offline,photos,groups,video,audio,email&redirect_uri={location.protocol+'//'+location.host}/member/login/vk/&response_type=code&v=5.15" class="login_register_vk_button"> <span class="login_register_vk_icon"></span> </a> {#/if} {#if $P.login_register_tab == 2} <a onclick="return _checkSocConfirm(event)" href="https://oauth.vk.com/authorize?client_id=3954260&scope=wall,offline,photos,groups,video,audio,email&redirect_uri={location.protocol+'//'+location.host}/member/join/vk&response_type=code&v=5.15" class="login_register_vk_button"> <span class="login_register_vk_icon"></span> </a> {#/if} </div> {#/template js_tmpl_auth_reg_soc}

{#template MAIN} <div id="loginForm" style="display:none;" class="subscriberu_popup"> <div class="popup_register"> {#include js_tmpl_auth_reg_tab} <dl class="rg_block_options"> <dt id="js_tap_panel_auth"> <p class="rg_description">{#include js_tmpl_auth_reg_descr}</p> <div class="clr"> </div> {#include js_tmpl_auth_reg_action} <div class="clr"> </div> </dt> </dl> </div>  </div> {#/template MAIN} {#template js_tmpl_auth_reg_tab} <ul class="rg_nav"> <li id="js_tab_reg" class="rg_active_nav rg_first_nav"><a href="" onclick="return false;" >Регистрация</a></li> </ul> <span onclick="hidebo();" class="rg_closed"> </span> {#/template js_tmpl_auth_reg_tab} {#template js_tmpl_auth_reg_descr} <strong>Пожалуйста, подтвердите ваш адрес.</strong><br><br>Вам отправлено письмо для подтверждения вашего адреса {$P.register_confirm_mail}.<br>Для подтверждения адреса перейдите по ссылке из этого письма. {#/template js_tmpl_auth_reg_descr} {#template js_tmpl_auth_reg_action} <div class="rg_forms confirm_code_from_letter"> <div class="rg_for_input"> <span class="rg_inp_descr" style="width:15em;">Или введите код из письма:</span> <input type="text" value="" id="confirm_code" name="" data-js_submit="yes" data-js_action="js_confirmFormBut" class="js_keydown_selector rg_input_text_conf" > </div> <div class="rg_for_input"><label>Не пришло письмо? <b>Пожалуйста, проверьте папку Спам</b><br /> (папку для нежелательной почты).</label><br /> <a href="" onclick="ajax_recall_code();return false" >Вышлите мне письмо еще раз!</a></div> <div class="rg_for_input"> <em class="reg_error" id="confirm_msg"></em> <a href="#" class="button button-red" id="js_confirmFormBut">Готово</a> <div class="loading loading-cover" style="display: none;"><div class="loader"></div></div> <br> </div> </div> {#/template js_tmpl_auth_reg_action}