7 ГРУБЫХ ОШИБОК ПРИ A/B-ТЕСТИРОВАНИИ

От редактора

7 грубых ошибок при A/B-тестировании

Новости: главное за неделю

Рекомендуем прочесть

Задайте вопрос экспертам

ОТ РЕДАКТОРА

Здравствуйте, уважаемые читатели.

Вы наверняка слышали про A/B-тестирование, но пользовались ли вы сами этой методикой оптимизации посадочных страниц? Увы, велика вероятность, что нет. Несмотря на то, что понятие оптимизации конверсии существует не первый год, популярным оно стало сравнительно недавно.

Часто это связано с непереносимостью результатов с площадки на площадку. Попытки воспроизвести чужие результаты «как есть» обычно не дают хороших результатов. В новом номере рассылки мы поговорим о том, что не следует делать при A/B-тестировании.

7 ГРУБЫХ ОШИБОК ПРИ A/B-ТЕСТИРОВАНИИ

Нил Патель перечисляет семь типичных ошибок при проведении A/B-тестирования, которые умудряются допускать даже эксперты. Вот они.

Ошибка #1: верить всему, что читаете

Все кругом рассказывают истории, как одно простое изменение в результате A/B-тестирования подняло конверсии до небес. Разумеется, когда вам показывают внушительные цифры, первое же, что хочется сделать — это под кальку скопировать тест на своём сайте. Однако в реальности многие тестируют посадочные страницы неправильно, поэтому нужно уметь читать между строк.

Например, если вы читали известную статью про A/B-тестирование на Hubspot, у вас могло сложиться впечатление, что красная кнопка призыва к действию работает намного лучше зелёной. Но если как следует вчитаться в текст статьи, станет очевидным, что красная кнопка всего лишь увеличивает прокликивание на 21%. А это ещё не означает повышение конверсии на 21%.

Если кто-то нажал красную кнопку, а не зелёную, вовсе не факт, что этот пользователь охотнее сконвертируется. В статье на Hubspot чётко не указано, что было получено именно увеличение конверсии на 21%.

Это ни в коем случае не означает, что статья бесполезна. Просто необходимо осторожно интерпретировать данные. Если кто-то прокрутил тест и получил «выигрышную комбинацию», это ещё ничего не значит. Точно так же не стоит ожидать точного воспроизведения чьих-то результатов на совершенно другом сайте.

Ошибка #2: заканчивать тесты, когда они являются статистически значимыми

Если софт для A/B-тестирования показывает статистически значимые результаты, вы должны закончить испытания, не так ли? В большинстве случаев это было бы верно, но если вам не хватает конверсий на каждой переменной, не стоит останавливать испытания.

Нил предлагает в данном случае руководствоваться его эмпирическим правилом: каждая вариация должна получить как минимум 100 конверсий, а тест нужно вести не меньше двух недель.

Три года назад его команда выполняла тестирование проекта Crazy Egg и провела около семи тестов в течение пяти месяцев. Результаты A/B-тестирования показали увеличение конверсии на 41%. Но доходы при этом не увеличились.

Почему? Потому что они не выполняли каждый тест достаточно долго. Не самая удачная идея — останавливать тест, когда у выигрышного варианта 41 переход, а у проигрышного — 15. Особенно если испытание длилось всего несколько дней.

В долгосрочной перспективе эти результаты не принесли дохода компании. Так что тестируйте варианты посадочных страниц достаточно долго.

Ошибка #3: ждать весомых результатов от крохотных изменений

Если даже несущественные изменения дают заметные улучшения, что-то явно не так либо с дизайном, либо с текстом на сайте. Такие изменения обычно долго не работают.

Наибольший рост конверсии — результат внесения существенных изменений. Если вы действительно хотите добиться серьёзных результатов, не концентрируйте внимание на мелочах. Уделяйте максимум внимания тому, что вероятнее всего принесёт прибыль.

В самом начале можно попробовать «подкрутить» дизайн и тексты, чтобы посмотреть, что это даст. Но в конечном счёте вам придётся заняться «крупной рыбой».

Идеальный вариант — когда вы выжимаете максимум из крупных изменений на посадочных страницах, и уже потом правите мелочь.

В качестве удачного примера Нил снова приводит сайт Crazy Egg, где основной выигрыш дала замена домашней страницы на длинное «продажное» письмо. Только после этого команда принялась тестировать призывы к действию, цвет кнопок и т.д.

Ошибка #4: начинать тестирование с придумывания теста

Если вы хотите сходу погрузиться в тестирование и начать сравнивать вариации страниц, это нормально. Возможно, у вас всё получится, но скорее всего, вы попросту потеряете деньги.

Вы ведь не являетесь покупателем собственного продукта или услуги, это делают другие люди. Отсюда вопрос: почему надо основывать тесты на вашем мнении о том, что интересно видеть людям?

Вместо этого попробуйте начать с опроса посетителей. Вот пример вопросов:

• Что еще вы хотели бы видеть на этой странице?
• Что мы можем вам помочь?
• Почему вы не завершили покупку? (Отличный вопрос для страницы оплаты, который можно задать, если пользователь ничего не делает полминуты.)
• Как мы могли бы убедить вас завершить покупку?

Получив качественные данные от пользователей, вы сможете точно определить слабые места посыла, внести нужные изменения и протестировать их, чтобы найти наиболее удачный вариант.

Но прежде чем начать тестирование, вам необходимо создать А/А-тест и проверить им текущую версию вашего сайта по отношению к ней же. Это нужно для контроля достоверности измерений.

Как только А/А-тест проходится нормально, можно запускать первый А/B-тест.

Ошибка #5: регулярно выполнять множество тестов

Нил рассказывает, что недавно он разговаривал с предпринимателем, который назвал команду в своей компании чуть ли не экспертами в области A/B-тестирования, поскольку в месяц они запускают больше 20 тестов.

Узнав об этом, Нил начал копать глубже и выяснил, что у сайта большой входящий трафик. Это и позволило компании так быстро открутить тесты. А поскольку страниц на сайте немного, команде дизайнеров было очень просто вносить изменения.

Такой подход, однако, не даёт желаемого результата. Во-первых, тесты основывались на устаревших данных и отрабатывали совсем недолго. По этой причине отдача от внесения изменений была мизерной.

Во-вторых, команда выполнила много тестов с невнятными, проигрышными результатами, что привело к сокращению дохода. Не забывайте: временное сокращение частоты конверсии приводит к временной потере доходности бизнеса.

Если вы можете собрать достаточно исходных данных, создавайте тесты на их основе. Тогда вы многое сможете понять о том, как должны выглядеть страницы. Качественно решить эту задачу в слишком сжатые сроки всё равно нереально.

Не зацикливайтесь на количестве, сосредоточьтесь на качестве. Важно не столько строгое следование графику тестирования, сколько приобретаемые полезные знания. Запуск слишком большого количества тестов вам в этом не помощник.

Ошибка #6: чем больше переменных, тем лучше

Тестировать слишком много переменных сразу — чудовищная затея. Мультивариантные тесты работают недостаточно хорошо: когда комбинируются все выигрышные варианты, реальные показатели конверсии заметно ниже тех, что вам обещает сервис тестирования.

Когда вы меняете слишком много переменных сразу без тестирования каждой в отдельности, вы не можете узнать, какие варианты отрабатывают отлично, а какие — только вредят. Поэтому старайтесь вносить лишь одно изменение за раз.

Хороший пример того, как не надо делать — рекламное письмо Тима Сайкса. Две недели назад он одним махом поменял видео, заголовок, текст и даже дизайн полей формуляра. Результат — стремительное падение конверсии.

Это не значит, что тест оказался полностью провальным. Но Тим не смог выяснить, какие новые элементы сыграли в плюс, а какие — в минус. Именно поэтому надо было тестировать каждую переменную отдельно.

Ошибка #7: тестировать микроконверсии

Помните ли ошибку, упомянутую в самом начале статьи, где HubSpot тестировали прокликиваемость? CTR — это и есть пример микроконверсии. В Hubspot пытались увеличить количество людей, переходящих из одного уровня воронки в другой.

Макроконверсией в том же сценарии было бы тестирование изменения, которое влияло на конверсии. Т.е. стоило тестировать не то, как цвет кнопки влияет на прокликиваемость, а как он влияет на совершение покупки.

Конечно, это не значит, что на микроконверсии вообще не надо смотреть. Просто основное влияние надо уделять всё-таки макроконверсиям.

Ошибка #8: запуск нового дизайна

В самом начале Нил пообещал семь ошибок, но не удержался и привёл ещё одну.

По его мнению, самая большая ошибка, которую только можно допустить — это смена дизайна лишь потому, что старый не соответствует духу времени. Нил считает, что дизайн нужно менять не целиком, а по частям, постоянно подстраивая его под вкусы клиентов.

В конечном счёте значение имеет не ваше чувство прекрасного, а способность сайта конвертировать посетителей в покупателей. Поменяв что-то ради красоты, можно нечаянно подрезать себе продажи.

Здесь можно снова привести пример из опыта Тима Сайкса, который запустить обновление сайта потому, что захотел новизны. В первые же часы продажи упали — не из-за технических ошибок, а потому, что новый дизайн был совершенно не отлажен под продажи. Так что Тим был вынужден вернуть старый, проверенный дизайн.

У вас уже есть сайт, дающий результаты. Новый красивый дизайн совершенно не гарантирует рост продаж. Вместо редизайна попробуйте по очереди дорабатывать отдельные элементы.

В комментариях к статье читатели дали ещё несколько полезных советов:

• При тестировании выборка должна быть единообразной. Если на один тест пришлось 5000 просмотров, то и остальные нужно проводить на той же выборке.
• Менять условия тестирования на ходу крайне не рекомендуется. Если в ходе тестирования дополнительно экспериментировать, скажем, с SEO, получить достоверные данные будет скорее всего невозможно.
• Не стоит считать результаты тестирования окончательными. Это бесконечный процесс, хотя некоторые компании, по выражению комментатора, считают, что преследуют потерянный банковский сейф с золотом.
• Лучше не доверять краткосрочным результатам, которые нельзя повторить. Комментатор привёл пример, когда на время местных спортивных состязаний цвета команды города в элементах сайта давали наилучший результат. А неделю спустя, по завершении соревнований, они переставали работать.
• Наконец, один из участников дискуссии в комментариях отметил, что падение продаж после смены дизайна часто происходит из-за того, что возвращающиеся покупатели с непривычки путаются. В качестве примера он привёл случай, когда смена дизайна сопутствовала смене CMS, без которой был невозможен рост бизнеса его клиента. На некоторое время продажи упали, но в итоге нового витка оптимизации их темпы удалось вернуть, а новая платформа помогла клиенту расти дальше.

Материал основан на публикации "7-ab-testing-blunders-that-even-experts-make",опубликованной в блоге QuickSprout.

НОВОСТИ: ГЛАВНОЕ ЗА НЕДЕЛЮ

В Яндексе детализировалась справка по организациям

С 30 апреля в сниппетах поисковой выдачи Яндекса начали показываться режим работы компаний и ближайшие станции метро. Информацию о режиме работы поисковик извлекает из Яндекс.Справочника, а ближайшую станцию метро вычисляет по указанному там же адресу.

Google Analytics начал показывать конверсии в реальном времени

В отчёте Real Time популярного пакета Google Analytics появился виджет, показывающие совершение конверсий на сайте в режиме реального времени. Виджет работает аналогично отчёту о посетителях, но выводит список всех целей и количество их достижений за последние полчаса.

РЕКОМЕНДУЕМ ПРОЧЕСТЬ

YouTube проиграл суд Роспотребнадзору.

Операционный директор Facebook Шерил Сандберг опровергла слухи о планах компании создать собственную рекламную сеть.

ЗАДАТЬ ВОПРОС | ПОДПИСАТЬСЯ НА РАССЫЛКУ | ОСТАНОВИТЬ ПОДПИСКУ

Вы можете прокомментировать любой выпуск или отдельный материал рассылки на Subscribe.ru! Заходите на subscribe.ru/catalog/inet.search.seo

Присылайте нашим экспертам вопросы по продвижению, рекламе, юзабилити и другим аспектам интернет-маркетинга. Они постараются ответить всем лично, а ответы на наиболее сложные и интересные вопросы будут опубликованы в рассылке.
Адрес редакции — subscribe@ashmanov.com

Подписаться на рассылку можно, отправив письмо с заголовком SUBSCRIBE_BASE на адрес subscribe@ashmanov.com. Адрес для отписки — тот же, укажите заголовок BASE_UNSUBSCRIBE.

ВНИМАНИЕ! Если вы подписаны через сервис Subscribe.ru, остановить подписку можно только на сайте subscribe.ru.

Успехов вам!
Выпуск подготовил Александр Прокудин
«Ашманов и партнеры»

АРХИВ РАССЫЛКИ

Copyright © 2003-2012 «Ашманов и партнеры»
При копировании или цитировании материалов обязательна ссылка на www.optimization.ru/subscribe