В этой главе речь пойдет о тестировании. Точнее, о том, как сделать его грамотным и результативным, без потери времени, ваших сил и, конечно, бюджета. Мы будем выявлять основные ошибки новичков в этой теме. А также:
• разберем основные виды тестирования;
• перечислим главные элементы вашей посадочной страницы, которые стоит тестировать;
• проанализируем, каких подводных камней нужно избегать;
• исследуем, насколько важна и важна ли вообще компетентность в области маркетинга для проведения тестов;
• познакомимся со специальной терминологией;
• проанализируем все возможные верные и неверные действия как во время, так и после выполнения теста.
Безусловно, все это будет рассматриваться на примере тестов, использованных в реальности. Вы увидите, какие элементы пришлось менять в каждом конкретном случае, какие были для этого причины и что получилось в результате.
Стоит ли игра свеч
Как и обещали, рассмотрим реальные примеры.
Пример 1: сайт 2012 года (рис. 9.1). Наше агентство выступало в роли посредника по заявкам для компании, которая выполняла ремонт стиральных машин. В ходе тестирования различных заголовков для сайта мы перебрали множество вариантов и в итоге сформировали заголовок, который позволил нам увеличить конверсию с 10 до 40 %. Всего лишь изменив оффер, мы стали получать 40 заявок вместо 10, а доход вырос с 10 000 до 40 000 соответственно.
Рис. 9.1. Сайт по ремонту стиральных машин
Как мы этого добились? Воспользовавшись техникой подмены заголовка. Прописав соответствующий скрипт, мы просто добавили в заголовок районы Москвы. Затем «плюсанули» основные улицы этих районов и станции метро, а под конец – ряд самых популярных моделей стиральных машин. В итоге, заголовок вида «Быстрый ремонт стиральных машин/Ariston/в/Ясенево/» дал прирост конверсии на 400 %!
Стоило ли проводить тест ради такого результата? Конечно, стоило.
Другой пример – «1001 тур» (рис. 9.2). Здесь мы протестировали все, абсолютно все! Конверсия оставалась равнодушной: ни заголовки, ни смена изображений на нее никак не влияли.
Рис. 9.2. Сайт «1001 тур»
Изменил картину лишь один-единственный элемент сайта: кнопка призыва к действию. Мы испытали разные версии: «Подобрать туры сейчас», «Оставить заявку» и множество других. Но только призыв «Подобрать лучшие туры» подарил нам прирост конверсии на 237 %.
При этом важно учесть: в верстку мы не внесли ни одной правки. А лиды в результате стали обходиться дешевле в 2,5 раза.
Следующий пример, о котором уже упоминалось ранее (рис. 9.3), – сайт нашей компании Convert Monster.
Рис. 9.3. Сайт Convertmonster.ru
Вы, наверное, обращали внимание на сайты, где цены на услуги не представлены. Мы провели испытание и этого способа: цен на услуги на нашем сайте теперь нет. Сначала мы опасались, что заявки, поступающие на сайт, будут нецелевыми или придут те люди, которые нас не интересуют. Но, как выяснилось, качество заявок от этого никак не ухудшается, а количество обращений выросло почти на 20 %.
В ходе теста выяснилось, что, убрав цену на сайте, можно получить весьма заметный положительный результат.
Вернемся к посадочной странице «1001 тур». Про кнопку призыва к действию вроде все понятно, теперь хотелось бы сказать о длине самого сайта. К общему знаменателю мы пришли не сразу. Удивительно, но по итогам теста «длинный» сайт заметно лидировал по конверсии. В «коротком» заявки оказались в шесть раз дороже.
Для чего здесь все эти примеры? Чтобы вы поняли: если хотите получить работающий, конвертирующий лендинг или думаете, что можете явно улучшить показатели своей страницы, – не откладывайте и не гадайте – тестируйте.
Стандартный подход
Cначала поговорим о том, как тестировать не стоит.
Первый подход, который вы можете встретить на практике, чаще всего звучит следующим образом: «Сделаем у разных веб-мастеров пять разных сайтов. Потом увидим, какой из них будет лучше работать».
Если вы владелец бизнеса, а не маркетолог, то, возможно, такой подход объясним. Но экономически это абсолютно невыгодно: вы потратите на сайты и верстку минимум 40 000 рублей, даже если это будут самые дешевые шаблоны сайтов.
Не забывайте, что каждый из этих сайтов нужно будет протестировать. Для этого на них надо привлечь большое число кликов, иначе невозможно будет говорить о статистике. Соответственно, прибавьте еще по 15 000–20 000 рекламного бюджета на каждый одностраничник. В результате все сайты с тестами обойдутся вам в 120 000–160 000 рублей. Даже если вы увидите, что один из сайтов дает результат чуть лучше остальных, на самом деле это простая случайность, потому что (сюрприз) все ваши сайты работают плохо.
Оптимальный вариант – создать одну посадочную страницу, потратив на нее 70 000–90 000 рублей. Запуститься, дождаться, когда пойдут заявки, и уже на работающем проекте выявлять недочеты, менять варианты и выбирать из них самый результативный. Потому что, если нет, то…
В итоге получится так
Сайт на рис. 9.4 очень показателен. Здесь вообще сложно понять, что продается.
Рис. 9.4. Пример неудачного сайта
Если бы вы были потенциальным покупателем, то вряд ли что-то приобрели здесь. Только после внимательного изучения можно выяснить, что здесь продаются очки за 22 000 рублей.
Представьте себе пять таких сайтов с затратами на бесполезное тестирование. Представили? Посчитали? Теперь запомните главное – лучше сделать один вариант, но сделать его качественно.
Вторая ошибка, допускаемая при тестировании, – это «стандартный» подход к нему, когда тестируется все подряд.
Это выглядит как: «Я слышал, что компания “Оптималь” изменила на сайте цвет кнопки и благодаря этому увеличила число регистраций в три раза».
Не стоит следовать этому методу, не имея представления, что на что вы меняете и почему. Нельзя тестировать что-либо «просто так» – бездумно менять картинки, цвета, заголовки.
По статистике, 1,5 % мужчин – дальтоники. Если вы предполагаете, что это большая часть аудитории вашего сайта, то да, кнопка должна контрастно выделяться. Тогда, и только тогда имеет смысл тестировать ее цвет. Возможно, в вашем интернет-магазине кнопка Заказ недостаточно заметна. Вы легко можете отследить это по вебвизору, а подтвердив теорию, изменить ее цвет и размер. Но, если вы начнете просто так менять картинки и кнопки, не понимая зачем, это приведет к негативному результату.
Если у вас нет четкой гипотезы, вы никогда не сможете получить результат!
Стандартный подход
Третий неудачный вариант – это случай, когда первый и второй подходы делаются одновременно. Разберем такую ситуацию: «У меня пять сайтов. На третий сайт поступило за день два звонка, значит, конверсия 50 %. На четвертый поступил один звонок за день, значит – 25 %. Остальные сайты не работают».
Имея подобные данные, делать какие-либо выводы о конверсии нельзя, потому что тест требует более длительного времени. Понимать нужно следующее: вы не увидите достоверных результатов теста, если тест проводился меньше 30 дней, а на сайте было не больше 100 кликов.
Результат
Есть еще одно важное понятие, о котором необходимо знать. Ни в коем случае нельзя оценивать результат теста по 20–30 кликам с одной рекламной кампании.
Вам может показаться, что какой-то вариант сайта работает лучше или хуже, чем предыдущий. Такое случается часто, но для того, чтобы делать вывод, этого недостаточно.
Чем меньше кликов, тем дольше должен идти тест. Здесь вам нужно знать о таком понятии, как дисперсия. Дисперсия в данном случае – это мера разброса какой-то случайной величины, то есть ее отклонения от математического ожидания. Она позволяет определить, насколько достоверно то наблюдение, которое вы сделали.
Стандартный подход
Есть ситуации, когда тест необходимо проводить на двух уровнях (как в случаях с интернет-магазинами).
Например, вы одновременно тестируете две кнопки: Добавить в корзину и Оформить заказ. Часто происходит так, что первая находится на карточке товара, а вторая – на карточке оформления заказа. При этом кнопка Добавить в корзину одного цвета, а кнопка Оформить заказ – другого. Пользователь воспринимает это как диссонанс.
Мы все подчиняемся неким социальным правилам. Например, для нас привычно, что кнопка оранжевого цвета означает «купить».
Если у вас она на первом шаге оранжевого цвета, на втором – синего, а на третьем шаге и вовсе превращается в белую, то в результате у пользователя происходит коллапс в голове и он вообще ничего не покупает.
Резюме: будьте последовательны в своих действиях.
Еще пример: допустим, у вас в карточке товара победил вариант Б, а на карточке оформления заказа – вариант А. Многие сделают вывод: надо оставить в карточке товара вариант Б, а на карточке заказа – вариант А. Но в действительности все сложнее: в этом случае мы имеем четыре варианта комбинаций кнопок: АА, ББ, АБ, БА. И вы не можете точно определить, какая из кнопок вам дала большую прибыль.
Нужно протестировать все четыре варианта, один за другим, с остановками. Ни в коем случае нельзя тестировать все разом. Не у всех с первого раза получается даже правильно сегментировать целевую аудиторию, что уж говорить о таких вещах, как тестирование.
Результат
Такой подход в итоге не приносит нам желанного результата от «победившей» версии. Вы можете столкнуться с тем, что, несмотря на увеличение конверсии лендинга, прибыль остается невысокой. Причина – неправильно выбранный KPI для сплит-теста.
Как быть?
Во-первых, вы должны понимать, к какому результату хотите прийти и что конкретно необходимо сделать, чтобы этот результат получить. Нужно составить гипотезу и грамотно спланировать тестирование.
Во-вторых, тест следует проводить длительное время, только тогда вы получите статистически значимые данные, которые сможете оценить.
В-третьих, нужно оценивать только один показатель, который будет ключевым. Оценивайте доход на вложенный рубль, средний чек или прибыль. Но только не конверсию. Оценивать конверсию – фатальная ошибка, потому что она бывает разной для разных отрезков времени, меняется в зависимости от источника трафика и является показателем относительным.
KPI сплит-теста
Итак, KPI (или ключевые показатели эффективности), которые лучше всего выбирать для теста: доход на одну заявку, доход на один клик, средний чек, прибыль.
Прибыль и средний чек – ключевые показатели. Доход на одну заявку или доход на один клик – это приведенные показатели, то есть результаты по ним можно сравнивать.
EPC – это доход, который поделили на количество кликов. EPL – доход, который поделили на количество заявок.
А стоит ли эта игра свеч
Такие наблюдения могут немного испугать. Потому что становится очевидно, что без правильно сформулированной гипотезы, знаний в сфере интернет-маркетинга, затрат времени и внимательного анализа результатов хорошего теста не выйдет.
Прямая речь
В ответ на ваши опасения мы процитируем фразу маркетолога Тима Эша, автора книги «Оптимизация посадочной страницы»: «Для того чтобы получить результат, вам нужно набраться мужества и потерпеть, пока у вас идет тест. Прибыль во время теста может немного просесть, некоторые варианты будут работать плохо. Зато в результате вы получите сильный долговременный результат. Не пугайтесь, это бывает часто, зато результат будет выше не на 20–30–40 %, а в 2–3–4 раза».
Это очень правильные слова. Да, вы потратите какое-то количество денег, потому что бесплатным трафик не бывает. Но вы победите и приумножите доход, если будете все делать внимательно.
Однако
Еще одна фраза Тима Эша: «Разве это плохо – при тех же затратах на рекламу получать в пять раз больше прибыли?»
Конечно, неплохо. Почти идеально. А главное – вполне реально. Чтобы добиться таких результатов, следуйте главному правилу: чем проще, тем лучше.
Даже простые тесты могут дать ощутимые результаты
Чтобы получить положительный качественный результат, вовсе не нужно быть академиком.
Чем тест проще, тем выше результат. Чем проще лендинг, тем выше конверсия. Чем точнее вы попадаете в потребность, тем у вас больше клиентов. Чем меньше лишних элементов на посадочной странице, тем читабельнее сайт. Чем понятнее заголовок, тем выше результат.
Это основное, что нужно запомнить.
Матчасть
Перейдем к ключевым моментам. Очень важно уметь определять, насколько хорош ваш тест.
Пять основных признаков хорошего тестирования таковы.
1. Не надо делать версию просто для того, чтобы ее сделать. Каждая версия, которую вы делаете, должна стремиться стать идеальной. Чтобы на ней купили вы сами, ваши сотрудники, ваша мама и даже ваша бабушка.
2. Не нужно тестировать два уровня одновременно, например «Добавить в корзину» и «Оформить заказ». В один отрезок времени проверяйте только один элемент или их комбинацию, если говорить о мультивариантном тестировании. В чем здесь схожесть, а в чем разница – поговорим чуть позже.
3. Не стоит тестировать на СЕО-трафике, так как его доля постоянно меняется и вы не можете регулировать этот процесс. Особенно в тот момент, когда вам необходимо что-то добавить или выключить. Выбирайте для теста то, чем вы можете управлять: контекстную, таргетированную рекламу или e-mail-маркетинг. Трафик при этом должен быть однородным.
4. Нужно тестировать только важные элементы, причем их результаты должны быть статистически значимы. Нельзя сравнивать две конверсии или три конверсии. Кроме того, нельзя делать вывод типа: если версия А дала 55 заявок, а версия Б – 45 заявок, значит, А лучше Б. На самом деле они однозначны. Нужно учитывать, что некий процент недостоверности есть всегда, это называется «статистическая погрешность».
5. Выбирайте только то, что действительно в корне может изменить ситуацию. Самые важные элементы на сайте – это картинки и заголовки, именно они захватывают внимание посетителя. От них зависит его интерес к вашей странице и то, насколько человек проникнется вашим предложением. Поэтому начинать стоит всегда именно с них.
Рассмотрим каждый из пяти признаков подробнее.
Usability-тест на 10 000 долларов
Есть очень простой тест на 10 000 долларов. Откройте свой сайт и посмотрите на него непредвзято, как потенциальный покупатель. Теперь ответьте честно: если бы вы искали то, что на нем продается, – вы бы купили? Если ответ «нет», то очевидно, что прежде, чем приступать к тестированию, придется сделать новый сайт.
Есть сайты, которые проходят этот тест. Например, качественные новостные сайты или сайты электронной коммерции. Но большинству сайтов (около 95 %), увы, этот тест пройти не удается.
Тест в единицу времени
Второй признак тестирования – тестирование одного элемента на одном отрезке времени.
Наглядный пример – график тестирования кнопок в интернет-магазине Добавить в корзину и Оформить заказ (рис. 9.5). Столбцы – это воронка.
Рис. 9.5. Одновременное тестирование кнопок Добавить в корзину и Оформить заказ
Здесь выиграла версия А. Несмотря на то что в версии Б конверсия стала больше и увеличилось добавление товаров в корзину, покупок стало меньше (последний столбец графика).
Это пример, когда, несмотря на рост конверсии, количество продаж падает. Самым понятным конечным показателем всегда являются ваши деньги.
Однородный трафик
Разные каналы дают разную конверсию
Как упоминалось выше, важно, чтобы трафик был однородным. На рис. 9.6 вы видите классический скриншот, который показывает, что на разных каналах будут разные конверсии, потому что по этим каналам приходят абсолютно разные аудитории.
Конверсия при таргетированной рекламе составляет от 13 до 30 %. TargetMail.ru и контекстная реклама в «Яндекс.Директ» вообще не конвертируют, а все посетители идут на один и тот же сайт. Разные доли этих каналов будут давать разную общую конверсию.
Рис. 9.6. Разный уровень конверсии на разных каналах
У вас может быть в один момент 100 кликов на «Яндекс.Директ», в другой – 200 кликов на «ВКонтакте», а в третий – 100 на «ВКонтакте» и 200 на «Директ».
Если на этом этапе появляются разные конверсии, то и у вас этот показатель тоже будет «плавать».
Рекомендация: если вы начинаете первое тестирование трафика, то следует его сделать на каком-нибудь одном источнике.
Как выбрать канал
На самом деле выбрать канал для тестирования очень просто. Нужно придерживаться следующих правил.
1. Набор объявлений должен быть единым.
2. Таргетинг не должен меняться, то есть те кампании, которые уже запущены, должны продолжать работать, не следует в них что-то менять или добавлять. У вас должен быть стабильный канал, который будет давать 200 кликов в день. Если кликов будет меньше, вам потребуется гораздо больше времени на проведение этого теста. Если 200 кликов уже есть, то с тестированием можно уложиться в 14 дней.
Каналы для теста
Ниже приведен список каналов для теста, на которых обычно получается хороший результат. Потом результаты теста можно экстраполировать, то есть проверить ваши догадки по другим каналам:
• «Яндекс.Директ», поиск;
• Google Adwords, поиск;
• «Яндекс.Директ», PCЯ;
• «ВКонтакте», таргетинг;
• TargetMail, таргетинг;
• E-mail, рассылки.
Остальные источники трафика работают значительно хуже. Крайне не рекомендуется использовать их для теста.
Статистически значимые результаты
Мы уже говорили с вами о таком понятии, как дисперсия.
Дисперсия означает отклонение от математического ожидания. По одному лендингу вы можете получить 55 звонков за неделю. Но это не значит, что за следующую неделю вы сможете получить 55 звонков при том же количестве кликов. Их может быть и 60, и 45.
Величина, которая характеризует этот плюс-минус, называется дисперсией. В нашем случае это будет квадратный корень из количества конверсий, которые были получены по сайту. Если у вас было 55 конверсий, то корень примерно равен 7. Если у вас была 121 конверсия, то 11.
У вас также есть дополнительный коэффициент, который характеризует достоверность результатов. Он равен 1, 2 или 3. Если дисперсию умножить на один, то считаем, что результат достоверный на 66 %, то есть в 66 случаев из 100 при перезапуске теста можно получить ту же выигрышную версию.
Чтобы получить достоверность 95 %, нужно умножать уже на 2. Тогда в 95 случаях из 100 мы получим тот же самый результат при перезапуске теста.
Если умножаем на число 3, считается, что результат повторится практически со 100 %-ной вероятностью. Как правило, чтобы использовать множитель 3, нужно достаточно много времени и трафика.
Дальше все просто – сравнивается математическое ожидание и отклонение.
Как следует из рис. 9.7, по версии А было 55 конверсий, по версии Б – 49. Представим это в виде графика. В одном графике конверсия была бы 55, в другом – 49. Нам нужно сравнить, может ли возникнуть такая ситуация, когда при математическом отклонении одна версия будет наезжать на другую?
Рис. 9.7. Пример 1
Как это сделать? Формула элементарная: нужно сначала найти дисперсию, умножить ее на 2, потом вычесть из лучшей версии или прибавить к худшей.
Например, возьмем версию А, по которой было 55 конверсий. Считаем дисперсию: квадратный корень из 55 – это примерно 7. Версия Б: 49 конверсий. Квадратный корень из 49 также равен 7. Теперь нужно уточнить результат 95 %-ной вероятности, для этого нужно взять 7 и умножить на 2.
Итоговый результат с 95 %-ной вероятностью при перезапуске теста:
• версия А = 55 заявок ± 14 = либо 41 заявка, либо 69 заявок;
• версия Б = 49 заявок ± 14 = либо 35, либо 63 заявки.
Смысл в том, что нам нужно знать предельные значения, чтобы понять, не пересекаются ли они. Просто самый худший результат может дать 41 конверсию по версии А, а по версии Б может дать 63 конверсии. Теоретически, если поменять местами, мы могли бы получить те же самые показатели. Это говорит о том, что результат математически недостоверен, то есть версии А и Б работают одинаково.
Рассмотрим второй пример (рис. 9.8).
На этом примере мы видим по версии А 150 конверсий, а по версии Б 95 конверсий. Точно так же находим корень из версий А и Б. В одном случае это 12, в другом – 10.
Дальше нужно умножить на 2 для того, чтобы получить 95 %-ную вероятность достоверности. В итоге:
• по версии А: 150 ± 12 × 2 = от 126 до 174 конверсий;
• по версии Б: 95 ± 10 × 2= от 75 до 115 конверсий.
Рис. 9.8. Пример 2
Они не перекрываются. Минимально по версии А мы получили 126, а максимально по версии Б – всего 115 конверсий. Это говорит о том, что результат математически достоверный. Мы можем говорить, что версия А в 95 % случаев даст лучший результат, чем версия Б.
Если говорить о системах подсчета трафика, то существует специальный показатель, который называется chance to bit original – «вероятность победить оригинальную версию». Он показывает нам, что найдена лучшая комбинация.
Вам нужно обращать внимание на этот показатель. Если у вас меньше 95 % вероятности, тогда тест еще математически не валиден. А что для вас означает 120–150 конверсий? Это 150 заявок и звонков.
Вот пример из Google Analytics (рис. 9.9): вероятность превосходства над исходным вариантом. Справа выделено, где это показывается. 100 %, не бывает 99,7 %.
Что такое Z? Z – это коэффициент. Он берется из математической статистики, просто нужно понимать, что Z равен либо 1, либо 2, либо 3. В нашем случае нужно умножать на 2. Это статическое число, оно всегда равно 2 в вашем случае. Если Z равен 2, вероятность 95 %, то можно утверждать, что у нас тест прошел хорошо и все так и будет, если отключить другую версию.
Рис. 9.9. Подсчет дисперсии системами тестирования
Важные элементы
Мало того, что всегда необходимо делать предварительный тест, нужно еще тестировать правильные и важные детали.
Какие элементы самые главные? Конечно, это следующие.
Заголовок – что в нем написано и в какой форме он сформулирован: утверждение, вопрос и т. д.
Цена – точнее, решение о ее позиционировании – отсутствие или наличие, оформление и визуальное восприятие.
Оффер – то, что вы предлагаете клиенту. Различные предложения дают различные результаты. Иногда оффер можно оформлять в виде акций на то предложение, которое вы даете, или же давать некое предложение, к которому идут бонусы. Это сильный стимул для клиента.
Призыв к действию – то, что человек получит в результате заполнения заявки. Чем понятнее будет ваш призыв действию, тем лучше.
Картинка – помогает определить очень много важных вещей. В том числе позволяет клиенту получить некое эмоциональное впечатление, идентифицировать себя или посмотреть на возможный результат/выгоду.
Цвет кнопки – красный, синий. В зависимости от того, какой контингент публики. На самом деле не столько важен цвет, сколько контраст. Чем более контрастная кнопка, тем больше вероятность, что на нее кликнут. Чем она больше, тем больше вероятность, что ее заметят.
Размер (длина) лендинга – короткий или длинный. В каких-то ситуациях лучше работает короткий лендинг (например, при сборе подписной базы), в каких-то – длинный.
Виды тестирования
Элементы, которые вы можете тестировать, мы разобрали, теперь перейдем непосредственно к самим видам тестирования.
Существует минимум три теста из тех, которые нужно проводить постоянно: это АБ-тестирование, мультивариантное тестирование и тест на юзабилити.
АБ-тестирование – это сравнение нескольких версий вашего лендинга, при котором трафик может попеременно попадать то на версию А, то на версию Б или вообще на версию С.
Многовариантное тестирование – это тестирование комбинаций нескольких элементов. Одновременно на одном уровне тестируется заголовок, цвет кнопки и ее надпись. Соответственно, возможность комбинаций будет 3 в 3-й степени. На мультивариантное тестирование, как правило, требуется больше времени и денег.
Юзабилити-тест – это опрос ваших пользователей. Достаточно опросить 3–4 пользователей, чтобы выявить 80 % ошибок на сайте.
АБ-тестировние
Теперь подробнее о каждом варианте.
АБ-тест – один набор элементов сайта дает вам один вариант для теста. Это прекрасная вещь для проверки простых гипотез.
Например, несколько разных студий нарисовали вам несколько дизайнов. Вам нужно посмотреть, какой вариант конвертирует лучше, или сравнить, как в примере, какой фон будет работать лучше – черный или белый, какой больше понравится посетителям и вызовет больше доверия.
Так же можно сравнивать и оффер. Если вы, допустим, предлагаете в подарок какой-то бонус. Например, какой напиток в подарок строителям, заказавшим допуски СРО: Jack Daniel’s, водку «Белуга», Jim Beam и т. д. Забегая вперед, скажем, что выиграл Johnnie Walker Red Label.
Плюс в АБ-тестировании состоит в том, что при нем используется немного комбинаций, соответственно, трафика тоже требуется немного.
Результаты при АБ-тестировании видно сразу – вам достаточно быстро становится понятно, какая версия работает лучше.
Минусы АБ-тестирования состоят в том, что не учитывается гармония.
Даже не стоит вдаваться в математическую статистику, что такое долевые элементы конверсии и как они влияют друг на друга. Кнопка, призыв, заголовок – все элементы оказывают влияние друг на друга.
Одна общая комбинация является резонансной. Она дает взрывной рост конверсии. Как правило, такую комбинацию с самого начала найти очень сложно.
В АБ-тестировании эту комбинацию вы не найдете никогда. Любой новый тест будет давать новые результаты. Новый тест отменяет предыдущий результат.
Многовариантное тестирование
Многовариантное тестирование позволяет тестировать сразу несколько элементов. Например, три заголовка можно сравнить с тремя призывами к действию и тремя картинками. Получается 3 в 3-й степени элементов. Двадцать семь различных комбинаций, которые показываются пользователям.
Например, заголовок 1 – картинка 2 – призыв 3 показываются одному пользователю, заголовок 2 – картинка 2 – призыв 3 показываются другому пользователю. Это сложный тест, который имеет смысл делать на больших порталах, когда много трафика. В этом тесте есть очень весомый плюс – именно здесь можно найти ту самую резонансную комбинацию.
Можно провести параллельное тестирование графики и текста и проанализировать их взаимодействие. Например, подписи и картинки, связь заголовков, призыва к действию и кнопки.
Главный же минус заключается в том, что для такого тестирования потребуется большой объем инвестиций и заметное количество времени. При этом некоторые версии будут работать отвратительно, давать плохой результат и резать вашу прибыль. Имейте в виду, что этот тест нельзя проводить на 100 % трафика. Всегда нужно выделять сегмент (20–30 %).
Юзабилити-тест
Юзабилити-тест – это сбор обратной связи от пользователей. Благодаря юзабилити-тесту вы можете не только узнать мнение посетителей сайта, но и найти идеи для сплит-теста.
Существует множество средств для настройки юзабилити-теста. Например, система Quarlaroo. Это чат, который появляется на сайте через некоторое время после того, как пользователь на него зашел.
Человек проводит пять минут на сайте и не отправляет заявку.
Вы можете написать ему: «Почему до сих пор не отправили заявку?»
Он отвечает на вопрос: «Я ничего не понял», «Мне сейчас неинтересно» и т. д.
Далее идет работа с возражениями. В зависимости от опроса респондентов можно предположить, что же на вашем сайте не так.
Есть и более простой способ юзабилити-теста. Он заключается в том, чтобы распечатать вашу посадочную страницу и попросить незнакомых вам людей, например сотрудников соседнего офиса, посмотреть на нее и задать им несколько ключевых вопросов.
• Что это за сайт?
• Чем он занимается?
• В чем предложение этого сайта, оффер?
• Как вы думаете, можно ли доверять этому сайту?
• Быстро посмотрев на сайт, куда вам хочется нажать?
• Куда бы вы сейчас пошли?
• Что бы вы сделали?
• Может быть, вы ушли бы с сайта?
Ответы на эти вопросы нужно обязательно записать для дальнейшего анализа.
Полное описание этого юзабилити-теста можно изучить в книге Стива Круга «Не заставляйте меня думать» (Don’t Make Me Think). Этот юзабилити-тест сэкономит вам тысячи рублей. Проводить подобный тест стоит, как правило, после того, как вы исчерпали все свои идеи для проведения тестирования и хотите улучшить текущие результаты.
Подготовительный этап. Вы выдвигаете гипотезу: «У меня меленькая конверсия, потому что…»
• Мой потенциальный клиент не понимает, куда он попал.
• Он не чувствует выгодность моего предложения.
• Ему не нравится та цена, которую я ему предлагаю (она слишком маленькая, слишком большая).
• Он не чувствует эмоциональной связи между собой и посадочной страницей, или страница слишком сложная.
• Он мне не доверяет.
• Ему не нравится мое предложение, он не заинтересован.
• Он не замечает критически важного элемента, не видит форму.
• Он не хочет давать столько персональных данных.
• Он дальтоник.
Как правило, в таких случаях работает коллективный разум. Вы вместе с вашим коммерческим директором или менеджерами по рекламе совещаетесь и делаете какое-то предположение.
После этого, в зависимости от гипотезы, начинаете проводить тестирование. Ниже несколько примеров тестирования под различные гипотезы.
Примеры реальных тестов
«Длинный – короткий»
На примере «Длинный – короткий» тестируются два сайта, левый с большим количеством информации и различных элементов, и правый сайт – короткий и лаконичный (рис. 9.10).
Рис. 9.10. Пример юзабилити-теста
Победила левая версия сайта, так как на нем стоит заявка в 3,42 доллара, а на правом сайте заявка в 15 долларов. Сколько бы там ни было прибыли, экономически более целесообразно получать заявки по левой версии сайта. Прибыль этой посадочной страницы была в три раза выше.
Сравниваем офферы
Можно сравнить разные офферы. На рис. 9.11 представлены два варианта сайта для продажи септиков на даче.
Рис. 9.11. Сравнение офферов
В данных офферах сравнивали ограничения. Какова была идея тестирования? Человеку нужен сервис или человеку нужно ограничение, которое его будет мотивировать сделать покупку.
Один оффер на доставку и установку септиков со счетчиком по акции. Второй оффер гарантировал, что человеку самому ничего не нужно делать. И там и там были, в принципе, приемлемые результаты конверсии для этой ниши.
Но в версии 1, которую вы видите на картинке слева (см. рис. 9.11), звонок стоил 19 долларов, в версии 2 на картинке справа звонок стоил 46 долларов. Первая версия экономически более целесообразна.
Фактически скидки на товар никакой не делали. Дилерская цена септика оставалась прежней. Стоимость установки стандартная. Но в первом оффере пользователь видел выгоду (доставка и установка).
Сравниваем дизайны
Можно сравнить различные дизайны (рис. 9.12). Для сайта светодиодного оборудования сравнивали дизайн старой версии и дизайн новой версии. Дизайн новой версии был более «легким» – на нем было меньше элементов.
Рис. 9.12. Сравнение дизайнов
Была выдвинута гипотеза, что пользователю будет легче ориентироваться в новой версии одностраничника. Так и произошло – вторая версия победила, причем с огромным отрывом. Количество заявок с обновленного сайта значительно возросло.
Упрощаем следующий шаг
Еще один пример теста, который можно использовать, – это упрощение следующего шага для пользователя на сайте. На рис. 9.13 представлен пример вариантов сайта для компании, продающей печать фотографий на холсте.
На левом варианте пользователю предлагается загрузить фотографию, которую он хочет напечатать. После того как он загрузит фото и укажет свои данные, пользователь получит три варианта дизайна.
Рис. 9.13. Упрощение следующего шага
В правом варианте человеку предлагали получить макет его будущей картины в день обращения, то есть сравнивали, что будет востребовано больше – три варианта дизайна или макет картины. Макет оказалось проще получить, и на него заявок было больше.
Можно тестировать тексты призыва к действию.
Например, тестировали призывы «записаться на кастинг» или «записаться на пробное занятие». У призыва «записаться на пробное занятие» конверсия была в два раза выше.
Еще один пример: призыв «купить товар» и «получить три варианта коммерческого предложения». «Три варианта коммерческого предложения» дали конверсию в 2,5 раза выше. Чем проще шаг, тем проще человеку оставить вам заявку.
Из этой же серии есть пример, когда из формы заказа убирают какие-то поля, например E-mail – он не всегда нужен продавцу товара.
Чем меньше полей, тем проще человеку оставить заявку. Но иногда количество полей не влияет на количество заявок. Запрос имени и номера телефона, как правило, от запроса только номера телефона ничем не отличается.
Сравниваем изображения
На рис. 9.14 представлен вариант сравнения изображений. Сравнивали количество заявок для разных картинок. На левой картинке нарисованы светодиодные светильники. На правом – девушка.
Рис. 9.14. Сравнение изображений
У версии справа была больше конверсия, но уменьшилось количество целевых заявок. На картинке слева получилось больше целевых заявок, но конверсия была меньше. В итоге версия слева выиграла.
Оценка результата
Рассмотрим процесс оценки результата, который был получен в ходе тестирования. На иллюстрации приведен пример элементарной управленческой таблички для оценки результата (рис. 9.15). Допустим, сравнивали контрольную версию, версию 1 и версию 2.
Рис. 9.15. Оценка результата
Было получено разное количество заявок и лидов по этим версиям. Заявки – это звонки, контакты, полученные на сайте в онлайн-чате, и отправки форм.
Что нужно обязательно посчитать?
Cv1 – это конверсия лендинга – заявки; Cv2 – это конверсия работы оператора: из скольких заявок сколько получено продаж.
Например, 20 человек сделали заявку, из них 10 человек купили, а 10 человек отказались купить. Следовательно, конверсия оператора составит 50 %. Если 100 человек позвонили и сделали заявку и 90 из них купили товар, то конверсия составит 90 %.
Далее в таблицу вносят прибыль по каждой версии. Ее легко посчитать, если предварительно настроить формат отправки заявок. Можно передавать определенные параметры с каждой конкретной версии: заявка с версии 1, заявка с версии 2 – и вести эту управленческую табличку.
Можно также посчитать доход на один клик (EPC).
Здесь важно понимать следующее. Для того чтобы правильно оценить эффективность теста, необходимо посчитать несколько показателей.
Нужно оценить, насколько лиды являются целевыми. Сигналом об этом – целевой лид или нецелевой, целевая заявка или нет – является то, насколько хорошо ваши операторы обрабатывают входящие заявки.
И, соответственно, нужно считать прибыль по каждой версии сайта и считать доход на клик. Доход на клик (EPC – Earnings Per Click) рассчитывается следующим образом: берется сумма всей полученной прибыли и делится на общее количество кликов.
Обычно этот показатель считают специалисты, занимающиеся арбитражем трафика. На рисунке по версии 1 доход на клик составил 10,3. Что это означает? На каждый клик заработано 10 рублей.
Для того чтобы зарабатывать в два раза больше, нужно вложить в два раза больше. Если вы хотите зарабатывать не 200 000 рублей, а 400 000, увеличивайте трафик в два раза.
Если параметр EPC будет неизменен, из таблицы становится очевидным, насколько нужно увеличить бюджет, чтобы заработать больше денег.
Вывод
Итак, для того, чтобы правильно сделать тест, вам нужно следующее: поставить правильную гипотезу и для ее исследования применить правильные инструменты. После чего грамотно провести аналитику.
Что такое гипотеза? Это предположение, почему клиент не делает тех действий на сайте, которые вам нужны.
Что значит использовать правильные инструменты? Это тестировать заголовки, картинки и те элементы, которые действительно влияют на конверсию. При проведении тестирования необходимо помнить о том, как влияет на результат дисперсия, равномерность трафика, проводить тест на разных уровнях. Все эти моменты следует знать и применять.
И, конечно, нужно анализировать результаты. Иначе говоря, необходимо считать прибыль и приведенные показатели по каждой версии сайта, а не только конверсию.
Самое важное из главы 9
• Основные ошибки новичков.
Не стоит тестировать все подряд, без разбора. Начинайте тест, имея четкое представление, что вы меняете, на что и почему.
• KPI сплит-теста.
Ключевые показатели эффективности, которые лучше всего выбирать для теста: доход на одну заявку, доход на один клик (приведенные показатели), средний чек, прибыль (основные показатели).
• Четыре основных признака хорошего тестирования.
• Не делайте версию ради версии. Стремитесь сделать страницу максимально продуманной и логичной. Настолько, чтобы на ней захотела сконвертироваться в покупку даже ваша бабушка.
• Не нужно тестировать два уровня одновременно. В один отрезок времени проверяйте только один элемент.
• Разные каналы дают разную конверсию. Выбирайте для теста то, чем вы можете управлять: контекстную, таргетированную рекламу или e-mail-маркетинг. Трафик при этом должен быть однородным.
• Тестируйте только важные элементы страницы, действительно влияющие на конверсию, – оффер, заголовки, СТА, картинки. Помните, что их результаты должны быть статистически значимы.
• Виды тестирования.
Существует минимум три теста из тех, которые нужно проводить постоянно: АБ-тестирование (сравнение нескольких версий лендинга), мультивариантное тестирование (тестирование комбинаций нескольких элементов) и тест на юзабилити (происходит в форме получения обратной связи от пользователя).
• Оценка результата.
• Анализируйте результаты. Помните, что нужно считать прибыль и приведенные показатели по каждой версии сайта, а не только конверсию. Для того чтобы правильно оценивать эффективность теста, заведите себе «управленческую табличку», где будет удобно подсчитывать несколько показателей.
• Считайте не только прибыль по каждой версии сайта, но и доход на клик. Доход на клик (EPC – Earnings Per Click) рассчитывается по следующей формуле: сумма всей полученной прибыли / общее количество кликов. Параметр EPC нужно считать для того, чтобы понять, насколько увеличивать бюджет, пытаясь заработать больше денег.
Домашнее задание
1. Рассчитайте по формулам значимые показатели для вашего теста.
2. Заведите себе управленческую табличку для сравнения результатов.
3. Рассчитайте по формуле параметр EPC, чтобы спрогнозировать увеличение вашего бюджета.
Дополнительные материалы к главе 9
Практический видеокурс по настройке АБ-теста (205 минут).
Скачайте его бесплатно по ссылке .