Отправляет email-рассылки с помощью сервиса Sendsay
  Все выпуски  

Новости портала "Горячие ссылки"


Информационный Канал Subscribe.Ru

Здравствуйте!

Приветствую читателей новостей проекта "Горячие ссылки". В данный момент у рассылки следующее количество подписчиков: 1105.
      Сегодняшний выпуск одновременно и продолжает обсуждение проблем, связанных с регистрацией новых ссылок в каталоге ресурсов, и подводит итог летнего периода функционирования сервера в самостоятельном режиме, без регулярной проверки работоспособности его сервисов. Со времени последнего подобного анализа прошло несколько месяцев, и в ближайших выпусках будет рассказано о функционировании различных разделов сайта в солнечный сезон. Итак, начнем с каталога ссылок.
      Судя по всему, лето каталог проработал нормально - раз уж в начале сентября он по-прежнему полноценно функционировал. Первое же, что бросилось в глаза при изучении статистики регистраций в каталоге - новых ссылок стало появляться значительно больше, уже начиная с мая нынешнего года. Как и раньше, лидером среди поставщиков ссылок является система 1PS.Ru, но в обвале регистраций оказалась виновата не она, а наша местная форма регистрации.
      Поверхностного взгляда на страницы самого каталога оказалось достаточно, чтобы найти наиболее плодовитых регистраторов: это оказались несколько адресов электронной почты (смотри таблицу 1).

Таблица 1

Домен

Регистрации

Mrflasher.com 1346
Vzletrakety: 330
Spam.lv 248
Aihs.net 76
Rudevsky.ru 59

      Все бы хорошо, как говорится, лучше больше ссылок, хороших и разных, но эти регистрации отвечали всего лишь нескольким сайтам, и каждая из ссылок просто повторялась сотни раз. Налицо злостное нарушение правил нашего каталога, предписывающих регистрировать только уникальные, единичные описания, желательно соответствующие отдельным серверам, а не разным материалам в пределах одного и того же сайта. Так что все эти ссылки были безжалостно удалены, а для пресечения подобных акций впредь со стороны уже отличившихся регистрация с этих 5 доменов заблокирована.
      Пик летних регистраций снизился, но до гладкой кривой было еще далеко, поэтому стоило подумать о дальнейшем отсеве ссылок. Вторая идея по отбору лишних регистраций была основана на повторении параметров регистрации от одной ссылки к другой, что также характерно для мусора в каталоге. Выборка по принципу повторной регистрации захватила и предыдущие годы работы каталога (смотри таблицу 2), при этом само распределение по повторяющимся полям представлено в таблице 3:

Таблица 2

Год Ссылки
2001 115
2002 240
2003 106
2004 1136

Таблица 3

Поле Повторы
Заголовок (сравнивался первым) 1012
Описание (при разных заголовках) 35
Почта (все остальное кроме домена - разное) 550

      Очевидно было, что регистрации с повторяющимся подряд адресом электронной почты все подряд удалять нехорошо - таким образом зарегистрировано много реально востребованных ссылок. А 1047 ссылок с повторяющимися вслед за ними заголовком или описанием были удалены, лидерами по замусориванию каталога среди 290 доменов стали перечисленные в таблице 4 домены. Впоследствии аналогичная процедура отсева повторов "соседних" регистраций была повторена отдельно для пришедших через форму на нашем сайте (или ее украденные копии), что отсеяло еще 143 ссылки с 82 доменов, с каждого из которых регистрировалось до 10 одинаковых ссылок.

Таблица 4

Домен Повторы
Starhold.ru 62
Atn.ru 46
Bossman.ru 38
Tvagonm.com.ua 23
Saunapremium.ru 22
Openforex.com 21
Zoom.cnews.ru 18
X1x.ru 18
Angar170.ru 18
Amb-it.ru 18

      Следующий также сам собой напрашивающийся этап отсева ссылок - контроль наиболее часто повторяющихся введенных значений параметров независимо от того, выполнялись регистрации друг за другом или в разное время. Эти действия все сразу и не произведешь, поэтому вначале рассмотрим перспективы подобной обработки (таблица 5 основана на выборке сотни значений каждого типа).

Таблица 5

Поле Максимум повторов Повторы у 100-го в списке
Домен 114 7
Заголовок 16 3
Описание 15 5
Почта 168 10

      Проблема, возникающая при поголовном удалении ссылок с многократно повторяющимся, например, доменом, заключается в возможности потерять активно посещаемые сайты, поэтому полному удалению из базы и занесению в "черный список" для предотвращения дальнейших регистраций подверглись только те 44 домена, многочисленные ссылки на которые были зарегистрированы, но ни разу не востребованы посетителями каталога. Конечно, если только что зарегистрированные ссылки еще не посетили через каталог - это простительно, но когда за время невостребованности кто-то регистрирует несколько десятков ссылок на один и тот же домен (и это явно не сервер хостинг-провайдера) - то, как говорится, сам виноват. Итак, лидеры среди таких доменов с нулевой посещаемостью ссылок, заблокированные для регистрации впредь - в таблице 6 (кстати, нетрудно заметить, что многие из них уже отметились в таблице 4).

Таблица 6

Домен Повторы
Tobuy.ru 92
Zoom.cnews.ru 41
Tvagonm.com.ua 37
Openforex.com 26
Ice-nut.ru 24
Cdcom.ru 24
Lodger.ru 22
Isl-net.ru 22
Starhold.ru 21
Atn.ru 20

      И тут мы подходим к самому интересному. Конечно, очистка каталога - дело благое, но удаление ссылок - это, так сказать, обезболивающее, а нам надо победить источник заболевания. О возможности того, что форма регистрации будет украдена, подозревалось с самого начала ее работы, поэтому изначально среди параметров существует скрытое поле указания на источник регистрации. Кроме защитной функции (фактически только первого и банально устраняемого бастиона защиты) это поле сигнализировало и о том, через какую систему регистрации получена ссылка, позволяя, например, выделить регистрации с наших страниц.
      Поскольку попытки зарегистрировать ссылки с некоторых из перечисленных выше уже удаленных и навсегда запрещенных доменов продолжались непрерывно прямо в процессе диагностики каталога и модернизации системы проверки регистрируемых ссылок, простое изменение этого скрытого поля показало целесообразность даже такой примитивной системы распознавания "свой-чужой": регистрации запрещенных адресов все продолжались, а значение волшебного параметра проставлялось старое! Так что параметр изменен не зря, еще больше вновь прибывающего мусора отбрасывается прочь.
      Между тем, у нашего скрипта регистрации существует еще одна ступень защиты, которую тоже, по слухам, легко сломать знающему человеку - что, видимо, и было сделано создателями основного потока грязи. А несколько других систем (даже удивительно, как много охотников одновременно набросились на нашу форму регистрации) оказались слабее: первую ступень защиты некоторые из них прошли, а на второй застряли, и сотни зарегистрированных ими ссылок оказались успешно заблокированными. Вчитавшись в протоколы регистрации, я обнаружил упоминание 4 различных систем, также "укравших" нашу форму. Пока не буду называть их поименно, вдруг еще удастся наладить сотрудничество - тогда нехорошо будет их ругать:
      Конечно, не все еще сделано, впереди внимательная проверка многократно встречающихся заголовков и описаний по данным таблицы 5, что даст еще несколько сотен кандидатов на удаление аналогично таблице 6. Пока непонятно, что делать с 541 ссылкой с повторяющимся подряд почтовым адресом и 278 ссылками с повтором домена, может быть, и ничего. Увидим позже. В перспективе и возможное установление контактов с создателями тех 4 систем автоматической регистрации, которые удалось поймать на использовании нашей формы.

*     *     *

Все вышеописанное касалось, конечно, зарегистрированных и еще не проверенных ссылок. Даже тех из них, кто разместил у себя логотип нашего проекта и, таким образом, принял участие в рейтинге TopXX, за лето накопилось очень много, так что не все из них были проверены просто из-за ограниченного времени. Пока это только те ссылки, авторы которых сами прислали письма о размещении логотипа HotLinks.Ru на своих сайтах. Хотя отвечать на автоматические уведомления о регистрации в принципе и не нужно, в данной ситуации это сыграло положительную роль и позволило выбрать те 75 ссылок, которые прошли проверку.

*     *     *     

Последняя новость, оставшаяся за рамками этого выпуска рассылки - скромная акция по борьбе со спамом в Интернете, проведенная по мере возможности в рамках каталога HotLinks.Ru. Но о ней - в следующий раз!

Ваш Александр Левченя
      Адрес сайта: http://hotlinks.ru
      Электронная почта: webmaster@hotlinks.ru


http://subscribe.ru/
http://subscribe.ru/feedback/
Подписан адрес:
Код этой рассылки: comp.inet.news.hotlinks2
Отписаться

В избранное