23 сентября 1997 года на выставке Softool была анонсирована поисковая машина www.yandex.ru, в этом году Яндексу исполняется 8 лет! Библиотека Сайтостроительства, разумеется, присоединяется к поздравлениям.
Интересно, что сотрудники Яндекса участвуют в полезных социальных акциях - сегодня вечером (в 7 вечера), к примеру, в клубе Гоголь (Столешников переулок, дом 11, вход во двор) состоится вечеринка-акция "Сухая попа", входным билетом на вечеринку будет пачка подгузников! Цель акции - собрать подгузники для детдомов.
Еще один поисковик - Google.com в честь уже прошедшего три недели назад дня рождения сменил стандартный логотип на входной странице на праздничный :) с пирожными.
Еще одно восьмилетие отметила 24 сентября одна из старейших компаний в Рунете - баннерная сеть RLE. Именно в этот день, восемь лет назад, и с помощью Russian LinkExchange первые участники начали рекламировать свои сайты. А сегодня, 30 сентября первая русская поисковая система Rambler празднует свой 9-й День рождения (в честь чего портал обновил дизайн). Сотрудники портала соберутся, чтобы насладиться общением в неформальной обстановке, подвести итоги еще одного года в Интернете, вспомнить былое и подумать о будущем.

Готовится к большому празднику - 11-летию Рунета ("11 RUЛЕТ-show") проект Премия Рунета – 2005. Это событие состоится 25 ноября 2005 года, однако подготовительные работы проходят уже сейчас. Объявлен список номинантов-участников премии. Библиотека Сайтостроительства принимает участие в конкурсе "Премия Рунета - 2005" - в номинации "Технологии и Инновации":

Непосредственные результаты деятельности:
Ежедневные публикации новостей и обзоров о Сайтостроительстве, еженедельная информационная рассылка по материалам библиотеки.
Конечные результаты деятельности:
На сегодняшний день в Библиотеке Сайтостроительства собрано колоссальное количество статей и обзоров по дизайну и графике, разработке и продвижению веб-сайтов.
Социальная значимость:
Основная функция проекта - образовательная. Цель - научить начинающих дизайнеров и разработчиков сайтов делать свою работу качественно и профессионально, глобальная задача - сделать Рунет чище и красивее.

Важный праздник: "День переводов и переводчиков", как это ни странно, так же имеет непостредственное отношение к сайтостроительству. Вы и сами знаете, что огромное количество полезнейшей документации по дизайну, верстке, стандартам и технологиям публикуется на английском языке, и только благодаря нелегкому труду талантливых переводчиков эти материалы становятся доступными для русскоязычной аудитории. Как пример - один из ведущих проектов, предоставляющих переводные статьи на русском языке по веб-разработкам - Webmascon, и сегодня сам сайт и его руководитель Алекс Качанов принимают поздравления, ценные подарки и легкие алкогольные напитки в стеклянной таре :) здесь....

29 сентября в официальном блоге Яндекса появилось уведомление о публикации работ по программе научных стипендий Яндекса за 2004-2005 год, которые вошли в сборник Интернет-Математика-200. Сборник, который появится в бумажном виде в следующий понедельник, составлен из отчетов по научным стипендиям Яндекса за сезон 2004-2005 г.

Всего на сайте (и в сборнике) опубликовано 25 работ: 24 работы по стипендиям плюс одна обзорная: И. Сегалович, М. Маслов, Ю. Зеленков. Цели и результаты программы научных стипендий Яндекса. В статье говорится, что учрежденная Яндексом программа стипендий Интернет-Математика призвана стимулировать отечественные исследования в области автоматической обработки веб-данных. Такие приложения как веб-поиск, классификация веб-сайтов, агрегация новостей, фильтрация почтового спама, выбор товаров, контекстная реклама требуют адекватных научных исследований. Программа стипендий Яндекса позволит заполнить эту нишу.

Любопытно многим веб-разработчикам и оптимизаторам сайтов будет ознакомиться с исследованием Евгения Трофименко "Оптимизация расчета ссылочной популярности и учета ее при ранжировании результатов поиска.". Давнее противостояние оптимизаторов/промоутеров веб-сайтов и разработчиков поисковых систем может быть сведено к минимуму, если использовать предложенный Евгением алгоритм обнаружения тех ресурсов, которые пытаются продвинуться в результатах поиска с помощью накрутки link popularity.

Для большинства поисковых систем ведущим параметром "качества" сайта по-прежнему используется коэффициент цитирования этого сайта другими ресурсами. Так любимый современными оптимизаторами метод массового обмена ссылками, в том числе и не тематическими, регистрация в каталогах и участие в фермах ссылок, безусловно, повышает цитируемость ресурса и, как следствие, его значимость при ранжировании результатов поиска, что, в подавляющем большинстве случаев засоряет выдачу мусором и давно уже считается одним из злостных и наказуемых методов поискового спама. Практика отслеживания подобных накрученных ресурсов развита слабо - можно, к примеру, "настучать" на конкретный сайт, написать письмо в службу поддержки поисковика (в Яндекс - "спам-репорт"), модераторы рассмотрят заявку и примут решение - действительно ли имеет место быть поисковый спам или же содержание сайта релевантно запросу в поиске...

Можно ли автоматизировать процесс массового "отлавливания" накрученных ресурсов? Сегодя в рассылке мы публикуем текст исследования Евгения Трофименко (оригинал вы так же найдете на сайте автора http://promosite.ru/):

Оптимизация расчета ссылочной популярности и учета ее при ранжировании результатов поиска

отчет по гранту Яндекса 2005

Аннотация

Проблема поисковых алгоритмов, учитывающих наличие внешних ссылок на документ или сайт, состоит в возможности искусственного увеличения ссылочной популярности путем обмена ссылками, участия в ссылочных фермах. Для решения проблемы накруток обычно используют индивидуальные меры: исключение сайтов и ферм из индекса, наложение фильтров на исходящие ссылки и т.п., что требует участия человека-модератора. Кроме того, масса промежуточных случаев (тематические кольца, обмен ссылками в узких темах), могут быть ошибочно отнесены в категорию накрутчиков.

В работе предложена идея по разделению индекса ссылочной популярности (PageRank, SiteRank) на независимые части, соответствующие добровольной и обменной цитируемости с тем, чтобы в алгоритме ранжирования учитывать их с разными весами. Предложенный подход позволяет количественно и алгоритмически определять степень вовлеченности в системы ссылочной накрутки.

Введение

Алгоритмы поисковых систем по ранжированию веб-документов, учитывающие наличие ссылок на других документах, подвержены внешним влияниям. Влияние на результаты ранжирования со стороны владельцев сайтов может осуществляться с помощью обмена ссылками с другими сайтами, участия в ссылочных фермах, создания ссылок на свои сайты в гостевых книгах, каталогах, форумах, создания сети поддерживающих основной сайт ресурсов, обменивающихся ссылками и ссылающимися на основной сайт.

Для решения проблемы накрутки ссылочной популярности обычно используют такие меры, как: исключения сайтов из индекса, наложение фильтра на исходящие ссылки с сайтов. Однако, эти действия требуют ручной проверки ссылочных ферм и отдельных сайтов. Кроме того, ссылочная накрутка может остаться незамеченной при следующих условиях:

1. Малые масштабы накрутки (число сайтов, участвующих в обмене ссылками);
2. Слив ссылочной популярности с заранее накачанных ресурсов;
3. Небольшая степень перелинковки (сайты могут ссылаться друг на друга не по алгоритму каждый на каждого, а разреженно).

Кроме того, ошибки человека-модератора могут возникать в случаях, если:

1. В узких тематических областях естественным образом возникает перелинковка сайтов между собой;
2. Веб-кольца для обмена посетителями могут вызвать подозрения;
3. Обмен видимой пользователю статической рекламой со ссылками.

В общем случае, почти любой обмен ссылками предполагает договоренность между ссылающимися сайтами. Следовательно, ценность таких ссылок в алгоритме ранжирования должна быть более низкой, нежели ценность добровольных, односторонних ссылок.

В условиях, когда около 27% всех ссылок в русскоязычном Интернете (по данным Яндекса) являются обменными (т.е., в обмен вовлечено около 14% хостов) невозможно просто исключить взаимные ссылки из рассмотрения. Кроме того, обмен ссылками, даже и договорной, не всегда является накруткой – многие владельцы сайтов обмениваются ссылками с действительно качественными ресурсами в своей тематике и не заслуживают штрафных санкций.

При учете ссылочной популярности отдельных документов (хостов) часто в виде ее количественной меры используют взвешенную цитируемость, или PageRank. Алгоритм расчета PageRank документа предполагает учет цитируемости ссылающихся на него документов. Однако в алгоритме PageRank смешиваются все виды ссылок – односторонние и взаимные. Отсюда возникают следующие возможности для накрутки ссылочной популярности путем создания ссылочных ферм и массового обмена ссылками.

Невозможность разделить разные компоненты PageRank ведет к необходимости принятия резких мер – сайт либо полностью принимается поисковой системой, либо полностью отвергается ей. Кроме того, в этой деятельности особую роль играет человеческий фактор.
Поэтому задачей является разработка алгоритмического метода количественной оценки вклада добровольной и обменной цитируемости в общую цитируемость.

В данной работе предлагается метод количественной оценки цитируемости хостов (SiteRank), позволяющий разделить долю цитируемости, полученную путем специальных действий (обмена ссылками и т.п.) и долю цитируемости, полученную за счет добровольных односторонних ссылок.

В дальнейшем эти ранги страниц можно использовать в алгоритмах ранжирования с разными весами при учете ссылочного ранжирования.

Идея исследования

Идея исследования – в разделении общей системы ссылок между хостами в Интернете на 2 подсистемы, не связанные между собой ссылками. Первая подсистема состоит из только лишь обменных ссылок. Вторая подсистема состоит из всех остальных ссылок.

Две подсистемы хостов могут пересекаться, т.е., один и тот же хост может находиться и в подсистеме односторонних ссылок (в ссылочную матрицу будут входить только односторонние ссылки) и в подсистеме обменных ссылок (в ссылочную матрицу будут входить только обменные ссылки). Это важный момент: это позволит не рассматривать хост либо как только лишь накрученный либо абсолютно чистый.

Гипотеза 1: добровольные, односторонние ссылки ставятся в случае действительно качественного контента сайта и его уместности в контексте ссылающегося сайта. Поэтому вероятность перехода по такой ссылке должна быть выше. Взаимные, обменные ссылки привлекают к себе меньше внимания посетителя в силу их расположения на сайте (в каталоге ссылок) и меньшей уместности в контексте ссылающегося сайта.

Поэтому вероятность перехода посетителя по ссылкам разного типа должна быть разной, и, соответственно, при расчете pagerank нужно использовать разные значения dumping factor (d).

Гипотеза 2 (следствие из 1): поскольку вероятность перехода по добровольной ссылке выше, чем по обменной, должно происходить естественное перекачивание посетителей из подсистемы хостов с обменными ссылками в подсистему хостов с добровольными ссылками. Таким образом, вероятность посещения сайта из подсистемы добровольных ссылок должна быть выше, чем подсистемы обменных ссылок.

Гипотеза 3: даже при одинаковой вероятности перехода по обменной и добровольной ссылкам ценность второй для алгоритмов ранжирования выше, т.к. в первом случае выше вероятность того, что ссылки поставлены по предварительной договоренности. Отсюда следует целесообразность учета добровольной цитируемости в алгоритме ранжирования с более высоким весом.

Методы, алгоритмы и эксперименты

Методы

Последовательность проведения исследования представлена ниже:

1. Описать уравнения расчета рангов;
2. Выбрать константу d (dumping factor) для расчетов;
3. Разделить подсистемы добровольных и взаимных ссылок;
4. Рассчитать значения SiteRank для общей системы и двух добровольных и взаимных ссылок;
5. Сделать выводы.

0. Использованные данные

Использовался хост-граф номер 1. Данные по 4.9 млн. хостов, из которых около 500 тыс. известных Яндексу (скачанных), из которых около 250 тыс. имеют внешние ссылки на другие хосты (т.е., не являются висящими).

1. Уравнения расчета ранга SiteRank

Т.к. данные были получены по ссылкам между хостами, рассчитывались значение не PageRank (по ссылкам между документами), а SiteRank (между хостами). При этом в уравнениях каждый хост представляет собой одну страницу, на которой есть ссылки вовне и на которую есть ссылки извне.

Для расчета использовалась система уравнений:

SR(i)=(1-d)+d*SUM{SR(j)/C(j)}

Где SR(i) – SiteRank хоста, SR(j) – SiteRank ссылающегося хоста j, C(j) – число внешних ссылок с сайта j, сумма по всем ссылающимся хостам.

Физический смысл SiteRank в этой системе из N уравнений – число находящихся на хосте пользователей при условии, что всего в Интернете ходят N пользователей. Это позволяет легко сравнивать значения SiteRank для нескольких подсистем с разным числом сайтов в них.

Расчет проводился с помощью итераций. Перед расчетом из матриц удалялись висящие страницы и ссылки на висящие страницы. Такая чистка матрицы проводилась несколько раз (до 6), т.к. после удаления ссылок на висящие хосты появлялись новые висящие хосты. Таким образом, при расчете не требуется использование нормировок.

2. Выбор значения dumping factor

В литературе приводился пример значения dumping factor = 0.85. Для работы необходимы реальные значения этого параметра, который по смыслу соответствует вероятности перехода посетителя по одной из ссылок со страницы при условии, что он находится на этой странице.

Для оценки реальных значений d использовалась статистика по отношению числа просмотров страниц к числу посетителей (хит/хост). Было сделано предположение, что число внутренних ссылок на сайтах гораздо больше числа внешних ссылок.

Если посетитель зашел на сайт, он просматривает 1 страницу. Вторую страницу он просмотрит с вероятностью d, третью – с вероятностью d^2, и т.д., таким образом, получаем ряд:

Hit/host=1+d+d^2+d^3+…+d^N, который при d<1 сходится к значению =1/(1-d)

Таким образом, при d=0.75 hit/host=4, при d=0.85 hit/host=6.66, при d=0.9 hit/host=10. Значение d=0.85 использовалось как разумное при дальнейших расчетах.

3. Разделение подсистем добровольных и взаимных ссылок

Использовался следующий алгоритм разделения матрицы на подсистемы:

1. По выданной матрице входящих ссылок после отбрасывания висящих страниц строилась матрица исходящих ссылок.
2. По каждой ссылке принималось решение – есть ли у нее парная обратная ссылка:
3. Если обратная ссылка есть – обе ссылки удаляются из матриц входящих и исходящих ссылок и добавляются в матрицу обменных ссылок для соответствующих хостов. Если обратной ссылки нет – ссылка остается в исходной матрице.
4. После прохода по всем ссылкам в исходной матрице мы получаем: в качестве матрицы добровольных (односторонних) ссылок – исходная матрица, в качестве матрицы обменных ссылок – новая созданная матрица (она симметрична). Один хост может содержаться в обоих матрицах.
5. После проведения разделения из каждой матрицы отдельно удаляются висящие ссылки.

Таким образом, мы разделяем ссылки на две подсистемы. В результате исходная матрица содержала 248 тыс. не-висящих хостов, матрица взаимных ссылок – 190 тыс. не-висящих хостов, матрица односторонних ссылок – 171 тыс. не-висящих хостов.

4. Расчет значений SiteRank

Расчет значений SiteRank по каждой из матриц проводился итерационным методом, стартовое значение – 1. Сходимость оценивалась по норме |SR-E|, где SR – вектор SiteRank, E – единичный вектор.

• По общей матрице ссылок: 50 итераций, точность |SR-E| до 5 знака
• По матрице взаимных ссылок: 69 итераций, точность |SR-E| до 5 знака
• По матрице односторонних ссылок: 28 итераций, точность |SR-E| до 6 знака

Эксперименты

Перед обсуждением результатов необходимо показать наличие явных проблем с существованием линкообменников и ссылочных ферм. Для этого было сделано следующее:

По всем хостам в исходной матрице (* после удаления висящих ссылок) было рассчитано число входящих ссылок. Число входящих ссылок дискретизировалось и все сайты были объединены в группы по числу входящих ссылок. На рис.1 по горизонтальной оси отложено число входящих ссылок и по вертикальной оси представлены: (1) число сайтов в группе, имеющих это число входящих ссылок, (2) число входящих ссылок с хостов, попавших в эту же группу и (3) отношение 1 и 2.

Видно, что на плотности перелинковки и числе входящих ссылок внутри группы наблюдаются отчетливые пики. Эти пики, вероятно, должны соответствовать ссылочным фермам вида каждый на каждого. При этом большинство хостов, участвующих в ссылочной ферме, должно попасть в одну группу по числу входящих ссылок и сместить средние параметры.

Как говорилась выше, эти дискретные группы приходится выделять вручную и вручную же исключать из индекса или накладывать фильтры.

Для сравнения можно привести аналогичный график, построенный по сайтам, зарегистрированным в Яндекс-Каталоге (рис. 1а), на котором видно отсутствие подобных пиков перелинковки:

После того, как для части хостов были рассчитаны все 3 значения SiteRank (первый, allpr – в общей матрице, второй, nepotpr – в матрице обменных ссылок, третий, purepr – в матрице односторонних ссылок), стало очевидно, что целесообразно в качестве меры накрученной ссылочной популярности использовать отношение nepotpr/allpr. Ниже представлен рис. 2 , на котором изображено и значение суммы nepotpr/allpr внутри группы.

Видно, что значение этой меры (nepotpr/allpr) повышено в тех же группах по числу входящих ссылок, которые являются подозрительными по наличию ссылочных ферм.

Для более наглядного представления посмотрим на рис. 3, на котором представлены величины nepotpr/allpr, по горизонтальной оси отложено число входящих ссылок на сайт из группы.

Видно, что есть определенная корреляция между числом подозрительных по накрутке ссылок и выбранной мерой – отношением SiteRank по матрице взаимных ссылок к SiteRank по общей матрице. При этом есть и вторая ветвь диаграммы nepotpr/allpr, которая лежит значительно ниже первой. В данном случае есть большое влияние случайных факторов, например, отдельные хосты со слишком низким allpr могут сильно завысить общую сумму по группе, и, возможно, существуют другие, лучшие меры для вычисления накрученной цитируемости.

Однако и эта мера хорошо иллюстрирует общий вывод – наличие корреляций между числом ссылок в группах, подозрительных по автоматическому линкообмену и SiteRank, рассчитанному по матрице взаимных ссылок. Однако, SiteRank – количественная мера, для расчета которой не требуется ручное выделение ссылочных ферм.

Выводы и обсуждение результатов

Рассчитанные значения рангов SiteRank по подсистеме взаимных ссылок может использоваться как количественная мера накрученной ссылочной популярности.

При ранжировании результатов поиска и расчете относительной важности ссылок с различных сайтов ранги, рассчитанные по матрицам односторонних и обратных ссылок можно использовать с разными весами.

Автор: Евгений Трофименко, июль 2005
info@promosite.ru
Работа выполнена при поддержке Яндекса (научная стипендия Яндекса 2005/N101803)
и на основе данных, предоставленных Яндексом (хост-граф русскоязычного веба, данные за февраль 2004).
Скачать .PDF (386Kb)
Источник статьи: promosite.ru

Н O B O C T И

- Посмотри, Сань, красота какая. Круги на воде. Нет, ты посмотри! Думаешь, нарисует кто-то такое? Черта с два кто-то нарисует такое.
- Да. Красиво. И вот еще посмотри – вот. Увидел? Круги вот такие. А теперь смотри – все по-другому. Удивительно! Каждый раз по-разному, при вроде бы всех одинаковых условиях. Это ли не чудо?
- Да, Саня. Изумительно. Я все время думаю – почему, когда я смотрю на эти круги, я становлюсь чище, думаю о каких-то интересных вещах, типа роли личности в истории. Я уж не говорю, что созерцание правильного круга напоминает о идеальности, созданной природой.
- Да дело же и не в этом! Ты ж глянь – на основе этих кругов можно изучать геометрию – раз, волновую теорию, ставить опыты по наложению волн, интерференции и дифракции.
- А капля летящая вниз? Механика, закон сохранения энергии, опыты на ускорение свободного падения. Все так как красиво-то а?
- Даа. АЙ!!! Ты чего дерешься отец?! Палкой-то за что?!
- А за то палкой, что вы два поганца в колодец плюете!!! Это ж надо додуматься... Тут же люди пьют!!
Источник: блог frumich`a

Предложение авторам: Если вы хотите публиковаться, если вы хотите, чтобы ваше имя стало более известным, а ваш сайт - более посещаемым - присылайте ваши статьи о веб-дизайне, компьютерной графике, методах раскрутки сайтов, технологии флеш и на другие темы, имеющие отношение к Сайтостроительству, редактору раздела.

::: рассылку ведет:     Татьяна Вукс      http://www.i2r.ru     2005 :::