Новости портала "Горячие ссылки"

Здравствуйте!

Приветствую читателей новостей проекта "Горячие ссылки". В данный момент у рассылки следующее количество подписчиков: 1088. Если считать 15 января нынешнего года вторым днем рождения проекта, значит, чуть больше месяца в сумме ушло на восстановление всех материалов сайта и его сервисов. На данный момент, пожалуй, нет такого документа на "запасном" сайте Levchenya.H1.Ru, который был бы новее его копии на главном, скорее наоборот - многие уже обновились на новом месте. Сегодня я расскажу обо всех изменениях прошедшего месяца, коснувшихся обеих "зеркал" проекта.

Новости "запасного" сайта
Каталог ресурсов на главном сайте
Оптимизация базы данных
Тематические материалы
Рейтинги

Новости "запасного" сайта

Во-первых, в феврале было проведено сравнение посещаемости сайта за два предыдущих месяца (опубликованы оба статистических отчета, за декабрь прошлого года и январь текущего). Некоторое сопоставление обоих отчетов приведено в нижеследующей таблице:

Фактически, все остальное касается "главного" сайта, потому что кроме небольших косметических исправлений (например, титульной страницы), никакой работы на зеркале не проводилось. Единственное, что сделано (и что будет повторяться примерно раз в месяц) - обновлен каталог, в который добавлено 96 проверенных ссылок. На этот раз проверку прошли участники рейтинга TopXX (т.е. большинство разместивших наш логотип), зарегистрированные в каталоге за первые два месяца года.

Каталог ресурсов на главном сайте

В то время как данные рейтинга, работающего на главном сайте, использованы для обновления зеркала, накопившиеся на зеркале ссылки потребовалось, в свою очередь, перенести в главный каталог. Это было проделано с описаниями 570 ресурсов, зарегистрированных на зеркале с ноября 2002-го по январь 2003-го. С "большим" каталогом проделана та же модераторская процедура, что и с зеркальным: из него удалены 200 ссылок жесткой сексуальной тематики.

Частично восстановлено взаимодействие каталога с системами автоматической регистрации ссылок в нем: администрация одной из них (1PS.Ru) откликнулась в свое время на сообщение о появлении зеркала, и те 500 ссылок в его каталоге - их заслуга. Теперь ссылки с этой системы, а также запросы с еще двух систем (ThePromo.Ru, Silver.Kiev.Ua) успешно регистрируются в основном каталоге.

Другая проблема, которая появилась еще на старом сервере весной прошлого года, разрешилась сама собой на новом сервере. Теперь при сортировке списка ссылок по алфавиту названия сайтов на русском языке обрабатываются корректно. Таким образом, для интересующихся подчеркиваю, что на нашем хостинге существует необходима настройка базы данных.

Оптимизация базы данных

Больше вопросов вызвало быстродействие нашей базы данных, особенно при обработке таблицы ссылок (всего их около 27000). По субъективному ощущению (а специальных измерений никогда не проводилось), на старом сайте HotLinks.Kudesniki.Ru каталог работал быстрее. Что звучит парадоксальнее, каталог на зеркале (сайт бесплатного хостинга H1.Ru, по идее, должен работать хуже коммерческого ValueHost.Ru) работает быстрее! По мнению большинства специалистов, "виновата" загрузка серверов компании-хостера, у которой очень много клиентов. Поэтому вполне возможно, что наша база данных всегда будет немного "притормаживать" и работать не очень устойчиво.

На самом деле, многочисленные повторные обращения к каталогу показали, что база данных работает надежно, просто скорость работы иногда меняется. Чтобы увеличить ее среднее значение, таблица ссылок и скрипты каталога оптимизированы.

Что касается технических подробностей, выполнено следующее:

• проиндексированы поля таблицы ссылок, по которым производится их сортировка и отбор (дата обновления, посещаемость, система регистрации и т.д.); попытка ввести полнотекстовую индексацию не увенчалась успехом: индекс занял много места, а быстродействие не увеличилось сколько-нибудь заметно...
• из скриптов убраны "лишние" запросы к базе данных, а оставшиеся обрабатываются только при необходимости (если выбрана опция показа дополнительной информации);
• проверенные ссылки (6 тысяч из 27) со всеми их изменяющимися каждый день характеристиками (данные по посещаемости и т.д.) каждый день копируются в отдельную таблицу, так что поиск и отбор ссылок по ней (если выбрана опция "показывать только проверенные ссылки", как и сделано по умолчанию) выполняются гораздо быстрее.

В итоге, интерфейс каталога заработал в среднем быстрее, и новые его страницы при изменение параметров отбора ссылок появляются за вполне приемлемое время (обычно несколько секунд). К сожалению, достаточно долго работает поиск по базе ссылок (например, через текстовое поле ввода формы на титульной странице), когда надо найти ссылку по части URL. Что ж, есть еще над чем поработать...

Напоследок были внесены небольшие усовершенствования в интерфейс статистики регистраций в каталоге:

• исправлена ошибка: при изменении режима отбора ссылок (перезагрузке страницы) не обязательно раскрывать слева расширенную форму обора ссылок, можно просто переключиться на показ статистики "только по проверенным ссылкам", например;
• исправлена ошибка: анализ статистики теперь дает правильные (различающиеся) результаты для всех ссылок и "только участников рейтинга topxx";
• модернизация: справа отображаются общее число строк таблицы (учтенных дней, месяцев или лет) и суммарное число ссылок.

Тематические материалы

Полностью обновлены все т.н. "статические" файлы проекта "Горячие ссылки". На них, как и на генерируемых скриптом страницах, размещен баннер нашей хостинговой компании, а сами статические файлы отредактированы в соответствии с настройками нового сервера:

• в виде статических файлов хранится "твердая" копия разделов обычного и англоязычного каталога ссылок, в том числе первый вариант интерфейса с разными вариантами сортировки ссылок. Основа файлов перенесена со старого сервера;
• с запасного сайта перенесены последние версии материалов о телевидении и всех личных страниц автора проекта (информация о научной работе, последние публикации, новое оформление текста диплома);
• статья о радио и материалы по архитектуре модерна не обновлялись, внесены только косметические изменения (баннеры и т.д.);
• цикл обновлений завершил перенос статей 38-го выпуска "ГАДского вестника".

Рейтинги

Как и ежедневное обновление таблицы проверенных ссылок каталога, та же процедура для данных рейтингов работает отменно. Основное внимание в этом месяце, кроме незначительной модернизации скриптов, было уделено обработке результатов работы рейтингов.

Поскольку на новом сервере в рейтинге Top20 участвуют все файлы, а не только тексты, на странице интерфейса появилась возможность отбора файлов (фактически, включается поиск по расширению) через ссылки в верхней правой части страницы. Возможно сравнение статистики отдельно по статическим файлам, скриптам и графическим файлам двух типов.

Интерфейс рейтинга TopXX не изменился, а вот в его данных были обнаружены ошибки. 14 "лишних" доменов появились в таблице за счет прописных букв. Теперь (как и на старом сервере), регистр символов в названиях доменов игнорируется. Другие 113 сайтов имели дублирующиеся записи в таблице, из-за чего на экране появлялись лишние повторяющиеся строки. 73 из этих сайтов удалены (они более не участвуют в рейтинге), а 40 строк восстановлены по данным старой таблицы, потому что среди них были лидеры рейтинга.

Следующим образом выглядит сравнение результатов работы рейтингов по данным старого и нового серверов (для примера сравниваются данные за 6 сентября 2002 года, которые "навсегда" останутся на страницах "запасного" сайта, данные за 30.09.2002-го и 24.02.2003; данные "на месяц" и за "весь срок" приведены на 30.09.2002). Можно сравнить разброс данных по двум дням одного месяца и некоторый спад активности на только что открытом сервере.

Рейтинг TopXX, все домены (средний трафик 1Кб на запрос, в т.ч. и для категории Gold):

Рейтинг TopXX, категория Gold с участием зарегистрированных в каталоге доменов, общее число визитов по ссылкам на которые - 193,732 (для примера приведено число запросов с конкретного домена, одного из лидеров рейтинга):

Рейтинг Top20, все файлы (в качестве примера выделены запросы титульной страницы сайта): теперь учитываются и графические файлы, поэтому трафик увеличился!

Рейтинг Top20, разделы каталога ресурсов (для примера выделены запросы статического файла раздела "Переводчики и перекодировщики"):

Начата разработка третьего рейтинга с рабочим названием TopRef - анализ аудитории сайта, сравнение числа запросов клиентских компьютеров с разными IP и доменными именами. Для начала частота обращений с разных IP-адресов оценивалась по запросам скриптов, в таблице приведены собранные результаты для трех разных дней работы тестовой системы:

Конечно, более точный анализ аудитории сайта возможен на той же технической основе, на которой работают два существующих рейтинга (по прямому анализу лог-файла). Разработка такой системы ведется, пока она доступна в тестовом режиме (т.е. никто не ручается за ее функционирование конкретно завтра или послезавтра). Действительно, здесь результаты гораздо значительнее: за первый день учтено 5988 уникальных адресатов. Возможно даже определение доменного имени клиента, хотя это длительный процесс (3528 ссылок анализировали 24 минуты), и не всегда удается определить домен (3990 успешно определенных адресов, т.е. 67%). Короче, что касается разработки этого рейтинга, впереди еще много вопросов.

Для сравнения эффективности работы рейтингов в разные дни приведены следующие таблицы. Разные характеристики измерялись в течение разных сроков, приведены их минимальные, максимальные и средние значения. В первой таблице показано изменение нескольких суммарных параметров каталога. В то же время вторая таблица содержит характеристики каждого конкретного дня, поэтому их можно суммировать по всему сроку анализа (это пол-месяца).

Характеристики, измерение которых проводилось в разное время:

Данные, собранные за 15 дней подряд:

На сегодня это все, скоро будет много нового...

P.S. Наличие зеркала Levchenya.H1.Ru еще раз показало свою актуальность. В начале марта HotLinks.Ru опять оказался отключен больше, чем на неделю, по техническим причинам. Приношу всем пользователям сайта свои извинения за причиненные накануне весенних праздников неудобства... Надеюсь, больше таких проблем не будет!

      До встречи, Ваш Александр Левченя
            WWW: http://hotlinks.ru
            E-mail: webmaster@hotlinks.ru