1. К читателям

2. О рейтингах и тех, кто их делает

3. Путеводитель по джунглям методик тестирования рекламных текстов (часть 2)

Сегодня у нас в рассылке: мое интервью костромской газете «Ва-банк» и вторая часть статьи Пауля Фельдвика в переводе Александра Репьева.

Буквально пара фраз по поводу первого материала. Совершенно неожиданно для меня наш продукт «Северный медиакомпас» в Костроме был «оплеван» со всех сторон: мол, и выборка неверная, и тиражи мы не учитываем, и бесплатные газеты ставим вместе с платными… Пришлось объяснять народу, почему необязательно опрашивать тысячу в городе с населением в 200 оных и некоторые другие вещи. Возможно, кому-то мои доводы покажутся рассказом для «чайников», а кому-то - вполне полезными.

С нетерпением жду отклики на оба материала, ваш Роман Оглоблин.

(Газета "Ва-банк в Костроме" от 7 марта 2003г.)

В последнее время в России (особенно в провинции) сложилась странная ситуация, когда слово «рейтинг» стало чуть ли не последним ругательством. На каждом шагу говорится о продажности «псевдосоциологов» и гремят споры о том, «чей рейтинг лучше». Мы решили расставить все точки над «и» и обратились к директору российской исследовательской компании «СОЦИС» Роману Оглоблину.

- Роман Александрович, расскажите немного о том, что такое «рейтинги СМИ», зачем они нужны?

Рейтинг газеты, радиостанции, телеканала - это вещь, без которой в принципе невозможно функционирование цивилизованного рекламного рынка. Ведь когда рекламодатель обращается, например, в газету или на телеканал для размещения своей рекламы, его не интересуют квадратные сантиметры (секунды), его интересуют контакты с потенциальной аудиторией. Рейтинг как раз и позволяет оценить, сколько рекламных контактов получит предприниматель в результате обращения в то или иное издание. То есть рейтинг - это своеобразная «медиавалюта», позволяющая оценить одну из составляющих эффективной рекламной кампании. К сожалению, до сих пор в России реклама размещается по принципу «где нравится директору», а не «там, где эффективнее».

- Откуда берутся рейтинги?

Рейтинги - это результат кропотливой деятельности исследовательских компаний. В основном это данные, полученные после проведения специальных социологических исследований. Прессу, например, измеряют с помощью квартирных опросов населения, а вот телевидение принято мерить с помощью так называемых «дневников телесмотрения» или специальных приборов people-метров.

- Кто вообще в России занимается такими исследованиями?

Сегодня в нашей стране существует достаточно много фирм, которые проводят медиаизмерения. На федеральном уровне это, прежде всего, TNS-Gallup media и КОМКОН. Именно на их данные ориентируются «большие» рекламодатели, которые проводят дорогие рекламные кампании. Причем ориентируются - это мягко сказано. Давно уже в Москве, например, существует система продаж на центральных телеканалах, когда размещение рекламы производится на основании стоимости ПУНКТА РЕЙТИНГА. То есть на Первом канале вам никто не предложит купить «пару минут в прайм-тайм». Если Вы, к примеру, производитель женских колготок, Вам продадут определенное количество контактов именно с женщинами, т.е. рейтинг в данном случае - это настоящая, не виртуальная, валюта. Здесь вспоминается ситуация с НТВ, когда Кох заявил, что «рейтинг на телевидении ничего не значит». После этой фразы телевизионщики и рекламисты только и говорили, что о его непрофессионализме…

- А в Костроме, например, почему рекламу не размещают таким образом?

Это как раз продолжение ответа на Ваш предыдущий вопрос. Кроме «грандов» исследований на рынке существует и масса небольших компаний, которые занимаются локальными измерениями. Ведь ни КОМКОН, ни Gallup, к сожалению, не могут дать объективную картину в конкретном городе, их данные представляют население всей России, или, если точнее, городское население всей России. Поэтому в Костроме или в том же Ярославле невозможно воспользоваться рейтингами этих компаний. Хотя даже если это и было бы возможно, вряд ли местные рекламодатели или рекламоносители захотели покупать отчеты москвичей по заоблачным ценам. В российских городах принято доверять местным исследователям. И это вполне логично, следует только помнить, что местные социологи бывают двух типов: профессионалы, которые используют международные технологии, и непрофессионалы, «изобретатели велосипеда», кои выдумывают собственные методики и показатели. Конечно, есть еще и очевидные обманщики, занимающиеся профанацией, но их «опусы» я не хочу обсуждать.

- А почему часто рейтинги, представляемые разными исследователями, отличаются друг от друга, причем значительно?

На самом деле ответ на этот вопрос состоит из двух частей. Во-первых, это разница методологии. Приведу пример: политические рейтинги Фонда общественного мнения (ФОМ) и ВЦИОМА сильно отличаются друг от друга. А все потому, что вопрос о популярности той или иной партии они задают по-разному и разным людям. И данные этих компаний совершенно бесполезно сравнивать, а тем более говорить, какие из них более объективны. То же самое и с медиаисследованиями. Одна компания может проводить опрос по телефону, интервьюеры (те, кто ходит по квартирам с анкетами - ред.) другой могут не демонстрировать респонденту карточку с логотипами… Нюансов очень много, боюсь, вашим читателям будет просто не интересно. А вторая часть - это разница понятий. Ведь «рейтинг издания» каждая социологическая компания определяет по своему. В нашем исследовании «Северный медиакомпас», которое проводится в семи городах, в том числе и в Вашем, рейтинг газеты - это средняя аудитория одного номера. Другие измерители могут назвать рейтингом, например, количество людей, которые хотя бы один номер газеты прочитали «от корки до корки»…

- Расскажите вкратце о вашем проекте «Медиакомпас».

«Северный медиакомпас» - это большое исследование, которое проводится нашей компанией в нескольких российских регионах. Сейчас их семь: Ярославль, Иваново, Кострома, Череповец, Вологда, Архангельск, Калининград. Думаю, что к концу года количество городов как минимум удвоится - интерес к отчетам «Компаса» очень велик, чувствуется дефицит качественной и объективной информации о СМИ в регионах. Пока все виды СМИ мы измеряем с помощью опроса (кроме Ярославля, где телевидение уже третий год меряется с помощью дневниковой панели), в каждом городе проводится необходимое количество интервью (как правило, 400 человек) по репрезентативной выборке. Вообще, проект проводится по международным технологиям в полном соответствии с кодексом ESOMAR. Это наиболее авторитетная международная ассоциация исследователей, членами которой, кстати, мы являемся.

- А 400 человек - это не мало? Разве можно говорить о всем населении города по ответам этих людей?

Тут я отошлю Вас к учебнику социологии. Давно уже известно, что выборка в 400 человек, правильно построенная (это самое важное!) является достаточной для города с населением до миллиона человек. Вникать в термины я не буду, расскажу только один случай из своей практики. Однажды, лет пять назад, я беседовал с клиентом по поводу предполагаемого исследования. Разговор шел об опросе потребителей определенного продукта. Когда речь зашла о цене, я сказал, что одно интервью будет стоить 2 доллара. На что он меня спросил: «Так что, если мы будем опрашивать миллион, опрос будет стоить $2 000 000?» Комментарии, как говорится, излишни…

- Почему в ваших отчетах нет деления на бесплатные газеты и те издания, которые продаются за деньги?

На самом деле этот вопрос часто задают в тех городах, где мал опыт общения с качественными исследованиями. Во всем мире давно уже нет практики подобного явного деления - оно просто излишне. Понимаете, мы ведь меряем ВСЕ газеты - и платные, и бесплатные, и ежедневные, и еженедельные. Конечно, что эффект от размещения объявления в разных типах изданий будет различным, но это и так понятно. Если следовать такой логике, нужно разделять рейтинги, например, для газет с цветной обложкой и с черно-белой, для изданий разного формата. Ерунда получится, правда? Еще раз повторю: наши рейтинги - это количество контактов с конкретным изданием, не более того. А уже дело рекламщиков разделять для себя все газеты по тем признакам, которые они сочтут нужными.

- Роман Александрович, большое спасибо за интервью. Напоследок расскажите вкратце о компании, которую Вы возглавляете.

«СОЦИС» - это молодая компания, мы существуем всего шесть лет. Но мы динамично равиваемся. В основном мы занимаемся исследованиями рынка - помогаем продвигать свою продукцию многим отечетственным и зарубежным компаниям. Медиаизмерения - это пока не прибыльный бизнес, занимаемся им мы лишь потому, что очень хочется, чтобы рекламный рынок в российских регионах стал более цивилизованным. Это наша миссия, что ли…

Пауль Фельдвик (Paul Feldwick). Перевод А. Репьева
Школа А. Репьева: Реклама и маркетинг
www.repiev.ru
Тел./Факс (095) 194-52-21

Тесты на воздействие и коммуникацию

Вместо того, чтобы попытаться измерить какой-то один параметр, характеризующий поведение - что считается нереальным - в этой методике измеряют ряд промежуточных умопостроений. Эта методика уходит корнями к теории рекламы Старча (Starch, 1925). Согласно этой теории, чтобы быть успешной, реклама должна быть увиденной и прочитанной. В нее должны поверить, ее должны запомнить и прочувствовать. Эта методика обычно измеряет следующее:

• Воздействие или способность рекламы пробиться сквозь информационный шум.
• Запоминание брэнда.
• Запоминание содержания текста, проверка понимания и коммуникации.
• Тест «нравится-не нравится».
• Так называемые диагностические вопросы для оценки отношения к рекламе, например - трудно поверить, реальная ситуация, забавно, скучно и т.д.

Вопросник может получиться довольно длинным, среди вопросов есть много открытых. При этом получают большой объем информации, которая может быть полезной при попытке понять, как респонденты воспринимают рекламу и реагируют на нее. Однако на практике встречаются некоторые сложности:

• Как следует формулировать сами вопросы?
• Как следует кодировать и интерпретировать ответы?

Еще более важны вопросы:

• Какие из этих умопостроений или их сочетаний предсказывают поведение?
• Какой уровень на каждой шкале предсказывает желательный результат? Какое сочетание «хороших» и «плохих» показателей можно считать удовлетворительным?

Именно по этим причинам большинство подобных тестов можно скорее рассматривать как помощь при анализе, а не как системы предсказаний. Это означает что сами данные открывают широкий простор для интерпретации и… увы, для конфликтов.

Хотя на первый взгляд кажется, что модель Старча основана на здравом смысле, при попытках превратить ее в рабочую модель возникает масса вопросов относительно важности каждого критерия. Например, многие такие тесты начинались с показа испытываемой рекламы в блоке с другими роликами (создание информационного шума) для тестирования на выделение рекламы на фоне других. Похоже, что это имеет смысл. При этом молчаливо предполагается, что, чем реклама выделяется больше, тем лучшее ее запомнят. Но после проведения таких испытаний в течение многих лет, Браун обнаружил почти полное отсутствие корреляции между очками, полученными роликами в блоке, и последующим запоминанием, измеряемым при трекинге рекламы.

Здравый смысл также подсказывает задать респондентам вопрос- что им понравилось и что не понравилось в рекламе, и оценить их ответы по пятибалльной шкале. При этом полученные результаты могут быть интересными, но как определить - какое соотношение «нравится» и «не нравится» желательно или приемлемо? Если такой вопрос имеет смысл вообще. Будет ли реклама, которая нравится 10% и не нравится 5% лучше или хуже, чем реклама, для которой эти показатели 40% и 20, соответственно? Важно или нет, если 20% респондентам реклама не понравилась? Если нет, то при каких значениях это превращается в проблему? Интерпретация таких ответов часто основана не на знании, а на эмоциях - для одних рекламодателей сама идея того, что их реклама может кому-то не понравиться очень некомфортна, даже если есть множество успешных кампаний с диаметрально противоположными оценками, и есть масса примеров кампаний, исключительно успешных с точки зрения продаваемости, которые мало кому нравились.

Другая очень противоречивая тема - это запоминание сообщения. Требуется очень осторожно выстраивать последовательность вопросов и интерпретации ответов. Рекламы с простым словесным содержанием (например, «Чистит одержу азотной кислотой») не обязательно более эффективны, чем невербальные рекламы, которые могут вызвать мощные зрительные и эмоциональные реакции, которые трудно выразить словами. И так далее.

Исследования такого типа, если их проводит опытный и интуитивный исследователь, могут быть очень полезными. Но они могут оказаться и бесполезными, если небрежно сформулированные вопросы, неправильное кодирование и неправильные выводы при интерпретации, основанные на неправильных моделях действия рекламы, неправильно представляют реальное поведение потребителя.

С учетом трудностей анализа сложных и запутанных реакций потребителей, может даже возникнуть соблазн опереться на один из аргументов исследования сдвига отношения. Но память, интерпретация и вербализация рекламы потребителем очень запутаны, а психологию механизма работы рекламы в контексте испытания лучше всего представлять, как черный ящик; при этом сдвиг отношения будет напрямую связан с конечным результатом, ростом желания купить.

На это, однако, можно возразить, что, если сдвиг отношения не может определять, что правильно и что неправильно в рекламе, то и его способность улучшить рекламу, исключительно низка. Короче говоря, главный критический аргумент против исследований сдвига отношений - его низкая диагностическая способность.

Поэтому можно было бы ожидать, что тесты на убеждение смещены правее по шкале нашего спектра, чем тесты на воздействие и коммуникации.

Вышеупомянутый тест на связь (link test) являет собой попытку пойти дальше «импрессионисткой» школы тестов на воздействие и коммуникацию и получить эмпирические формулы, позволяющие делать какие-то прогнозы. Как я уже говорил, эта теория основана на способности человека запоминать содержание рекламы на определенный срок. Браун утверждал, что он разработал систему уравнений, описывающих отношение к рекламе, которые помогают предсказать запоминание при трекинговых исследованиях; причем оказалось, что результаты коррелируют с краткосрочным поведением кривой продаж. Метод дает большое количество диагностической информации относительно того, что запоминается. А это та область, которая все еще нуждается в стратегическом анализе.

Другие варианты

Испытания на сдвиг отношения и на запоминание суть два основных столпа в тестировании рекламных текстов. И оба этих метода имеют множество вариаций. В частности, имеются методы испытания роликов во время их показа по телевидению и без показа по телевидению. Создатели метода запоминания на следующий день после показа утверждают, что их методика дает более правильные результаты, чем стандартный метод воздействия и коммуникации, поскольку испытываемый ролик включается в реальную рекламную паузу в естественной среде. После этого через 24 часа после эфира по телефону выясняют, что зрители запомнили из рекламы. (Разумеется, за это время память многое теряет, что по мнению приверженцев этой методики, делает этот тест более строгим.) Ту же самую методику можно приспособить к различным вариантам теста на сдвиг отношения.

Здесь хотелось бы отметить еще ряд моментов. Одним из них является механический метод регистрации интереса к рекламе посекундно. (Измерения движения глаз и гальванический сигнал кожи вышли, скорее всего, обоснованны, хотя недавно мне встретилась новая методология, которая основана на измерении активности мозга с помощью электродов, прикрепленных к голове респондента.)

Эти методологии занимают промежуточное положение между количественными и качественными методами. Они включают заполняемые вопросники, способы привлечения интереса и групповые дискуссии. Есть и гибридные методы, которые сочетают элементы запоминания и убеждения, например тест Sherman Buy. На самом же деле большинство тестов включают всего понемножку, но обычно видно, что один аспект более важен, чем другие.

Также есть другие методы, которые я бы описал более подробно, если было можно в рамках статьи. Кроме того, всегда есть возможность появления завтра нового метода.

Весь вопрос в том, что предпочесть?

Вопрос доказательства

Может сложиться мнение, что уже накоплено достаточно данных, чтобы раз и навсегда отдать предпочтение тому или иному методу. К сожалению, имеющиеся данные сложны и противоречивы, отчасти потому что большая часть работ была проделана под эгидой исследовательских компаний, каждая из которых подчеркивала достоинства их собственного продукта. Часть сравнительных исследований проводилась и практиками. Эти сравнительные анализы, я уверен, основываются на достоверных данных, но волей неволей исследовательский институт заинтересован в том, чтобы представить свои данные наилучшим образом. Время от времени предпринимаются независимые попытки оценить точность результатов той или иной методики. Но безрезультатно.

В 1991 году институт IRI, на основании тщательного обследования огромного объема материалов, заключил: «Маловероятно, что для старых брэндов имеется четкая связь между стандартными методиками замеров телевизионных роликов на запоминание и убеждение и их продаваемостью».

Приблизительно в то же самое время ARF (Фонд рекламных исследований) привел результаты сложного и дорогостоящего исследования, которое было основано на пяти парах роликов. Выводы Фонда были в очень расплывчатыми: «методы испытания рекламного текста работают!» и «на основании результатов данного исследования ни один из методов нельзя отвергнуть».

Однако другие исследователи, проанализировав данные ARF, пришли к иным вывода. Как и сами тесты реклам, результаты данного исследования дали много пищи для дискуссий. Разумеется, маловероятно, что для всех обстоятельств можно дать один ответ. Но общепризнанно, что различные рекламы работают по-разному; а посему в оценках нужно быть исключительно избирательным. Этот подход поддерживает и Джордж Гэллап:

«Каждая школа тестирования реклам претендует на то, чтобы быть Школой. Но я полагаю, что наиболее правильно было бы считать, что все методы полезны и служат той или иной цели. Нет единого метода, который отвечал бы на все вопросы. Эту ошибку совершают все школы. Они полагают, что если вы нашли средство от головной боли, то оно подойдет и для плоскостопия. Нужно знать возможности и границы каждого метода.»

Я не собираюсь говорить вам, что нужно делать. Я не собираюсь выступать третейским судьей в многолетней борьбе различных методов испытания реклам. Вы имеете широкий выбор. Если вы считаете, что испытание рекламного текста важно для вашего бизнеса, вы должны исключительно серьезно подойти к выбору метода, а не поручать тестирование первой попавшейся исследовательской компании.

Начните с вопроса - где вы сами находитесь на шкале подходов? Верите ли вы во всемогущество хорошо информированного умозаключения, или в четкую систему? Чувствуете ли вы себя комфортно от прямого человеческого контакта при качественных исследованиях, или вам нужна поддержка чисел? Вы также можете задать себе и другой вопрос - следует ли все рекламы вашей компании тестировать одним и тем же способом? Или же вы будете избирательно относиться к тестовым методикам применительно к каждой стратегии и идее рекламы?

Если вы решите использовать один из стандартных методов, вы будете иметь дело с известной методикой и наборов критериев, что облегчает интерпретации. При этом все в организации будут точно знать, по каким правилам все играют. Если для каждой кампании вы предполагаете использовать специальную методику, это потребует от всех гораздо больше времени и сил. Вам потребуется опытный рекламный исследователь, который более заинтересован в решении конкретных проблем, чем в формировании базы данных. А такие действительно существуют. Вполне возможно, что, пойдя по такому пути, вы получите лучшие результаты, а сам процесс разработки методики тестирования под конкретную рекламу сам по себе будет ценен с точки зрения генерации идей.

Если вы хотите придерживаться одной системы, как это делают многие компании, то вам нужно будет проанализировать имеющиеся данные и решить, какие из них лучше соответствуют вашим представлениям о том, как работает реклама, и корпоративному стилю вашей рекламы. Например, может случиться, что ваша корпоративная философия базируется на улучшениях продуктов, и роль рекламы состоит в том, чтобы об этом сообщать. В таком случае вам подойдет методика сдвига отношения. Если вас более интересуют неосязаемые ценности брэнда, вам подойдут другие методики.

Может быть, к принятию данного решения стоит привлечь ваши рекламные агентства. Вы будете спокойнее, если вы считаете, что тестирование реклам помогает агентству лучше создавать рекламы, а не является полицейской мерой.

И, наконец, не забывайте, что тестирование рекламного текста - это всего лишь один из этапов на пути к успешной рекламе. Оно не заменяет стратегического планирования и исследований, и качественного анализа грубых идей. Ни один из методов тестирования текста рекламы не является идеальным.