Все выпуски  

ЗАМЕТКИ О ЮБИЛЕЙНОЙ КОНФЕРЕНЦИИ - ФАКТЫ, ТЕНДЕНЦИИ, ПРОГНОЗЫ...


АШМАНОВ и ПАРТНЕРЫ        Выпуск 155
(базовый)


ЗАМЕТКИ О ПЯТОЙ КОНФЕРЕНЦИИ
тенденции, факты, прогнозы...

От редактора
Вопросы, ответы, темы форума
История поисковых машин (продолжение)
Веселая ретроспектива - Тайные стратегии оптимизаторов
Задайте свой вопрос экспертам
О преимуществах платной подписки
ОТ РЕДАКТОРА

"Отгремела" пятая юбилейная конференция по продвижению сайтов. По прошествии недели впечатления улеглись, их много. Рассказать хочется вот о чем.

* * *

Традиционная схема SEO, где "оптимизатор оптимизирует" сайт клиента уже не единственная. На рынке появились компании, которым не нужен "человек с сайтом". Клиенту нужны покупатели из Сети, что ему и предлагается в обмен на комиссию с заказов. Всю необходимую инфраструктуру - продающие сайты, сателлиты, сайты линкоподдержки - компания создает сама, сама осуществляет вывод на нужные позиции и сама же принимает звонки и онлайн-обращения от потенциальных покупателей товаров и услуг.

Безусловно, подобная модель идеально подходит для фирм, у которых привычно-оптимизаторское деньги вперед и никаких гарантий (позиций и/или конвертации посетителей в покупателей) вызывает изумление, потому что в оффлайновом бизнесе такое не принято. Далее следствия.

* * *

Порог вхождения в оптимизаторский бизнес резко повышается. Постоянный поток покупателей из Сети можно обеспечить, лишь имея техническую и финансовую возможности к росту ссылочной базы и управления ей. А количество "нормальных" сайтов, где можно купить ссылку или обменяться, фактически, исчерпано. То есть необходим постоянный приток тематического контента, на базе которого можно создавать новые сайты. Технологии обеспечения качественным контентом еще не отработаны, поэтому идет массовый процесс попыток решения этой задачи с минимизацией затрат - клонирование, плагиат, компиляция, дробление уже имеющихся материалов и "общение" (сплоги).

* * *

Грань между "белой" и "черной" раскруткой исчезла. Это хорошо иллюстрирует факт бана Яндексом тысяч сайтов, принадлежащих старым, уважаемым и эффективным оптимизаторским фирмам. Судя по отзывам, забаненные сайты были далеко не последние.

* * *

2006 год - год взрывного роста поискового спама. Причина - партнерские программы PPC-поисковиков и поставщиков продающего контента (знакомства, адалт, варез, мобильники, интернет-магазины). По разным оценкам, доля некачественных ответов в топах поисковых машин составляет уже свыше 50%. Основная форма реализации - клонирование различного рода аггрегаторов и классификаторов, для которых возможно наличие большого количества страниц в поисковых индексах: "каталогов", "досок объявлений", "энциклопедий", "информационно-новостных" и "полезно-развлекательных порталов".

На нижнем уровне интересы оптимизаторов и создателей спамкаталогов и спамбордов идеально дополняют друг друга. Первым нужны ссылки с разными текстами, вторым нужны текстовые отличия многочисленных клонов каталогов и досок друг от друга.

Борьба поисковых систем со спамом и различными формами линконакрутки коснется не только собственно спамеров и оптимизаторов как участников рынка, проблемы появятся и у серьезных компаний, которые стали рассматривать Сеть как место представительства своих интересов и заинтересованы в прозрачности правил игры и стабильности.

* * *

Уровень интереса бизнеса к теме продвижения в Сети очень высок. Фраза "от клиентов нет отбоя" звучала на каждом углу. Судя по всему, это только начало роста, внизу еще огромный потенциал бизнеса регионального.

* * *

По словам Александра Садовского, Яндекс научился автоматически определять тематичность страниц и ссылок. Буквально, "большое количество нетематических ссылок может утянуть сайт вниз". Какие перспективы это сулит для методов конкурентной борьбы, сказать сложно, но пробовать "опускать" конкурентов нетематическими ссылками, точно, будут пытаться.

* * *

Прошлогодний мой прогноз о том, что 2006 главной проблемой года будет "качество поиска", можно сказать, оправдался: качество стало совсем ни к черту, а баны массовыми. Пора делать прогноз на год 2007. :0)

Судя по многому, 2007 год будет годом зарождения социального поиска - технологий, когда искать информацию людям помогают не машины, а другие люди. Вариантов сервисов и моделей здесь несколько, но пока все они еще в эмбриональном состоянии. Кроме, разве что, Ответов.Мейл.ру, о котором на конференции отличный доклад сделал руководитель проекта Максим Постников.

Посещаемость Мейла обеспечила очень интересное явление: а) первые ответы на многие вопросы появляются спустя несколько секунд после запроса, т.е. скорость ответа на "отложенный (форумный) вопрос" становится по функциональности сравнимой с машинным поиском; б) существует часть пользователей (и соответственно, запросов), для которых лучшим ответом является не ссылка на источник информации, а живое общение. Поисковые машины могут обеспечить лишь ссылки на тематические форумы, а Ответы Мейла организуют общение прямо "не отходя от кассы", т.е. у пользователей появляется какой-то общий форум, где можно узнать мнения практически обо всем.

Какая именно технология социального поиска "выстрелит" судить пока сложно. Но что это направление будет развиваться очень динамично, сказать можно с уверенностью.

ИНТЕРЕСНЫЕ ТЕМЫ ФОРУМА
Авторское право и поисковики, оригиналы и дубли Подробнее

Могут ли поисковики выступать гарантами соблюдения авторских прав в интернете? Как это уже делается? Как это можно было бы сделать?

V конференция "Поисковая оптимизация и ..." Подробнее

Пишите кто был - чего полезного слышали... А давайте еще ощущениями делиться. У меня сложилось ощущение определенного тупика в развитии оптимизации. Покупные ссылки рулят. И все. Оптимизация - функция от ссылочных бюджетов. Тех, кто с этим несогласен обзовем лузерами. Все выродилось в посредничество при торговле ссылками.

Я вообще на конференцию езжу в основном узнать, что сейчас модно в России, потому что давно не танцую с бубном перед Яндексом. Предыдущие моды мне нравились больше...

Переработана статья про раскрутку форумов Подробнее

С момента последнего анонса несколько переработана статья про раскрутку форумов Добавлены нюансы, выявленные во время раскрутки нового форума, добавлена часть №3, которая дает намек, как монетизировать трафик на форуме. Эта часть пока что в зародышевом состоянии и будет еще пополняться...

Анализ изменений в алогоритме ранжирования нач. с 09-11-2006 Подробнее

Вопрос, на который пытаемся найти ответ: "Какими изменениями в алгоритме ранжирования вызвано падение многих сайтов после апдейта 09-11-06?"

P.s. Намеренно отсек гипотезу о глобальном сбое в базе яндекса, хотя есть некоторые предпосылки: по многим, если не сказать, всем запросам выдача больше сотни сайтов не показывается, при том, что "найдено" несколько тысяч...


Обсуждения в форумах - "живые". Новые сообщения могут появляться уже после просмотра вами заинтересовавшей темы. Маленький совет: если Вы хотите получать информацию о новых сообщениях в интересующих темах, сделайте две вещи.

  • Зарегистрируйтесь на форуме - http://seochase.com/profile.php?mode=register
  • Авторизуйтесь при входе и на странице с интересующей вас темой кликните по ссылке "Следить за ответами в теме". Извещения о новых ответах станут приходить вам на адрес, указанный при регистрации.

Увидимся на форуме.

ИСТОРИЯ ПОИСКОВЫХ МАШИН Аарон Уолл

ИСТОРИЯ ПОИСКОВЫХ МАШИН

Продолжаем публикацию перевода статьи Аарона Уолла "История поисковых машин" (первую часть см. в выпуске 149).

Что такое бот?
Из чего состоит поисковик
Хотите узнать больше о том, как работают поисковики?
Типы поисковых запросов
Улучшите свои поисковые навыки
Бродяга всемирной паутины
ALIWEB
Стандарт для запрета ботам посещать веб страницу
Примитивный поиск по сети
Excite
Веб директории: VLib
EINet Galaxy
Yahoo! Directory
Проект Open Directory (DMOZ)
LII
Business.com
Looksmart
Поисковики против директорий
WebCrawler
Lycos
Infoseek
AltaVista
Inktomi

Что такое бот?

Компьютерные роботы - это программы, которые автоматически выполняют повторяющиеся задания со скоростью недоступной для людей. Ботом называют практически все, с чем может взаимодействовать пользователь или программу, которая занимается сбором данных.

Поисковики использую "пауков", которые занимаются поиском информации в сети. Это автоматические программы, которые обращаются к веб-страницам, так же как и обычные пользователи с помощью браузеров. В дополнение к "чтению" содержания веб-страниц, с целью их индексации, они также запоминают и записывают ссылки.

  • Индекс цитирования (частота встречаемости ссылки на сайт) может быть использован как механизм для определения степени доверия к этой странице других сайтов.
  • Текст ссылки может помочь при выяснении вопроса, чему посвящена страница.
  • Контекст, в котором встречается ссылка, может определить общую тематику страницы или сайта.
  • В дополнение к этому ссылки сохраняются, с тем, чтобы в будущем бот мог пройти по ним и проиндексировать страницу позже.

Примером еще одного вида ботов, может послужить чат-бот, который пытается имитировать человека при общении.

Из чего состоит поисковик

Поисковики состоят из трех основных частей. Поисковые пауки идут по ссылкам, для того чтобы посетить страницы, которые еще не были проиндексированы или обновились со времени последнего посещения. Эти страницы, после прохода по ним бота индексируются и добавляются в индекс. Когда вы ищете информацию, используя один из основных поисковиков, вы на самом деле ищете не во всей сети, а в индексе контента, который достаточно грубо и часто с опоздание предоставляет вам содержание сети. Третьей частью поисковика является поисковый интерфейс и программа определения релевантности. Для каждого поискового запроса поисковики, как правило, выполняют следующую последовательность действий.

  • Принимают поисковый запрос и проверяют его на содержание специфических команд, а также проверяют его на ошибки и в случае обнаружения последних предлагают правильный или более популярный запрос.
  • Проверяют, соответствует ли запрос вертикальным поисковым базам данных (поиск по новостям или продуктам) и в случае совпадения, располагают вертикальные результаты рядом с основными.
  • Собирают список страницы из органического поиска. Эти результаты располагаются в зависимости от содержания страницы, а также от показателя индекса цитирования.
  • Запрашивают список соответствующих рекламных объявлений, для того чтобы расположить его рядом с результатами.

Пользователи, как правило, кликают по нескольким верхним результатам, как отмечается в этой статье Якоба Нильсена, подкрепленной также этим исследованием поведения пользователей.

Хотите узнать больше о том, как работают поисковики?

  • В статье "Как Google собирает и располагает результаты" (How does Google collect and rank results?) Мэтт Катс, работник Google коротко описывает, как это происходит.
  • В этом видео Джефф Дин, работник Google читает лекцию в университете Вашингтона, о том как правильно строить запросы при работе с Google.
  • На Чикаго Трибьюн есть специальный раздел, посвященный Google, в котором выложены дюжина аудио интервью, три раздела, и это изображение - и все о том, как работает Google.
  • How Stuff Works рассказывают о поисковиках в статье "Как работают поисковики".

Типы поисковых запросов

Андрей Бродер, автор Таксономии поиска в сети (A Taxonomy of Web Search)[PDF], утверждает, что большинство поисковых запросов, условно, можно разделить на три категории:

  • информационные - поиск информации по определенной теме;
  • транзакционные - совершение покупок, скачивание файлов, или какое-либо другие взаимодействие с результатами поиска;
  • навигационные - запрос на конкретный URL.

Улучшите свои поисковые навыки

Хотите искать более эффективно? Большинство поисковиков предлагают для этого следующее:

  • Продвинутая форма поиска с помощью которой можно задавать формат поиска, например: искать только по определенному домену, только по документам в определенном формате, среди файлов, которые более старые или более новые; возможны также другие варианты, например ~ означает искать среди материалов относящихся к Google.
  • Вертикальный поиск по базам данных, что очень помогает, чтобы искать более структурировано, или в случае, когда вам необходимо ограничить поиск среди надежных документов (страниц), источников.

В Google Guide, Нэнси Блэчман предлагаются бесплатные подсказки для поиска в Google, а Грег Нотесс создал и поддерживает рейтинг поисковиков, в зависимости о того сколько возможностей они предлагают для поиска.

Также есть еще несколько очень популярных вертикальных поисковиков поменьше. Например, в Del.icio.us вы ищете по сайтам, которые были добавлены в закладки другими пользователями, а Technorati позволяет искать по блогам.

Бродяга всемирной паутины

Вскоре появился первый робот для работы в сети. В июне 1993 Мэтью Грей представил бродягу всемирной паутины. Изначально, он просто хотел измерить рост сети и создал этого бота для подсчета активных веб серверов. Вскоре он усовершенствовал его для обращения к URL напрямую. Эта база данных стала известна как Wandex.

Насколько Бродяга был решением, настолько же он являлся и проблемой, так как он перегружал систему, обращаясь к одной и той же странице по нескольку сотен раз в день. Решение этой проблемы не отняло много времени, но люди стали задаваться вопросами о пользе ботов.

ALIWEB

В октябре 1993 Мартин Костер создал, в ответ на Бродягу, Archie-Like Indexing of the Web, или ALIWEB. ALIWEB собирала мета информацию и позволяла пользователям регистрировать собственные страницы, которые они хотели, чтобы были проиндексированы, с их собственным описанием этих страниц. Это означало, что боты использоваться не будут, а, следовательно, значительно экономило трафик. Негативной стороной ALIWEB оказалось то, что не все люди понимали как им зарегистрировать свои страницы.

Стандарт для запрета ботам посещать веб страницу

У Мартина Кохера также можно найти страницу, посвященную роботам, которая является своего рода стандартом, по которым поисковые боты должны индексировать или не индексировать контент. Это позволяет вебмастерам, блокировать доступ ботов на их сайт или на отдельные страницы сайта.

По умолчанию, если информация находится на публично доступном сервере, и на нее есть ссылки с других страниц - поисковики проиндексируют ее.

В 2005 году Google отправился в поход против спама комментариями в блогах, создав специальный атрибут nofollow, который можно применять непосредственно к ссылке. После того как они протолкнули эту идею, они вскоре изменили предназначение этого атрибута объявили о том, что он должен использоваться также для рекламных ссылок или любых других, которые не находятся под контролем редакторов.

Примитивный поиск по сети

К декабрю 1993 года в сети было три действующих поисковых бота, которые собирали информацию о сайтах и их содержимом: JumpStation, World Wide Web Worm, и Repository-Based Software Engineering (RBSE). JumpStation собирала информацию из title и header, и возвращала ее используя простой линейный поиск. По мере того как росла сеть JumpStation замедлялась и в конце концов прекратила свою работу. WWW Worm индексировал только URL и title. Проблема с этими двумя заключалась в том, что они предоставляли результаты в том порядке, в котором они их находили, и н6икак не сортировали их. RSBE использовал систему ранжирования.

Так как ранние поисковые алгоритмы не делали анализа ссылок и не кешировали страницы, то найти что-то - чьего точно названия вы не знаете, было просто невозможно.

Excite

Excite вырос из проекта Architext, который в феврале 1993 начали шестеро студентов Стэнфорда. У них появилась идея использования статистического анализа связей между словами для более эффективного поиска. Вскоре они получили необходимое финансирование, а в середине 1993 они выпустили копии своей программы в открытую продажу для использования на сайтах.

В 1999 году Excite приобрел провайдер под названием @Home за 6,5 миллиардов и Excite был переименован в Excite@Home. В октябре 2001 Excite@Home стал банкротом. InfoSpace выкупила Excite за 10 миллионов.

Веб-директории

VLib

Когда Тим Берненс-Ли создал сеть, он создал и Виртуальную библиотеку, которая превратилась в конфедерацию тематических экспертов, которые пополняли поддерживали списки сайтов.

EINet Galaxy

Директория EINet Galaxy была основана в январе 1994. Она была организована по тому же принципу, как и большинство директорий в наши дни. Причиной, по которой EINet Galaxy добилась успеха, это то, что она также сочетала в себе черты Gopher и Telnet в дополнение к возможности искать по сети. Размер сети в 1994 вообще-то не требовал директорий, ни одной, однако, вскоре начали открываться новые директории.

Yahoo! Directory

В апреле 1994 Дэвид Фило и Джерри Янг создали Yahoo! Directory как коллекцию своих любимых сайтов. По мере того как количество сайтов росло, им пришлось реорганизовать свою директорию и добавить туда возможность поиска. Что отличает директории от Бродяги, это то, что каждый URL сопровождается описанием составленным человеком. По мере того, как шло время, Yahoo! Directory выросла в Yahoo! и стала брать деньги с коммерческих сайтов за включение. С течением времени плата за включение выросла. На сегодняшний день она составляет $299 в год. Многие информационные сайты до сих пор добавляются в директорию бесплатно.

( Полная версия статьи опубликована в "РВ" - расширенном выпуске нашей рассылки, см. Архив )

Подписаться на "РВ" можно здесь - http://www.optimization.ru/subscribe/money.html

(Продолжение следует)

Русский перевод под ред. И.Гурова
SEO Blog [dot] biz

ВЕСЕЛАЯ РЕТРОСПЕКТИВА

Новая иллюстрация студии Naive - к статье Тайные стратегии оптимизаторов

* * *
Тайные стратегии оптимизаторов

"Эта статья является размышлением о несовместимости интересов Заказчика и Исполнителя в сфере поискового продвижения веб-сайтов... Чаще всего со стороны Оптимизатора встречаются две стратегии.

* Стратегия 1: Срубить бабки. Один раз. Что дальше с сайтом Заказчика - не важно.

* Стратегия 2: Рубить бабки с Заказчика постоянно.

Возможно, встречается и Стратегия 3 - "альтруистическая", когда Оптимизатор больше заботится о Заказчике, чем о себе самом... если вы нашли такого - вы выиграли джек-пот поисковой оптимизации... "

КАК ЗАДАТЬ ВОПРОС ЭКСПЕРТАМ?


Cтатьи, исследования, экспертные ответы и оценки рассылки "Продвижение сайта с опытом экспертов" будут посвящены, прежде всего, тому, что больше интересует вас, наших подписчиков.

Присылайте свои вопросы и пожелания по адресу subscribe@ashmanov.com. Ждем!

Успехов Вам!

Выпуск подготовил Андрей Иванов
"Ашманов и Партнеры"


СПИСОК ЭКСПЕРТОВ | АРХИВ журнала "Продвижение сайтов" | СБОРНИКИ ДОКЛАДОВ

Компания "Ашманов и Партнеры" - услуги, проекты, статьи
Семинары по оптимизации и продвижению сайтов
Сайт-Аудитор: бесплатная программа для поисковой оптимизации


Рейтинг@Mail.ru

В избранное