Мы уже обсуждали ограничения в понимании намерений клиента исходя из одних лишь щелчков и явного многообразия причин, по которым клиенты приходят на веб-сайт.

Практическим проявлением этих двух проблем является значительное затруднение поиска действенного понимания, что усложняет поиск воздействия на практический результат. (Практический результат - это не только доход; это может быть улучшение удовлетворения требований заказчика, снижение издержек на обслуживание клиента или просто некое преимущество для бренда компании.)

Сущность ориентированности на клиента подразумевает помощь ему и решение его проблем (а не решение проблем компании, т.е. повышение дохода). Это также подразумевает более внимательное выслушивание (listening) клиентов и обработку оптимальных впечатлений о веб-сайте, которые помогают посетителям решить их проблемы. Фантастический метод осуществления вышесказанного заключается в проведении экспериментов и проверок.

В этой главе вы убедитесь в важности проверки. Вы также познакомитесь с методиками, находящимися в вашем распоряжении, и способами создания грамотной программы проверки. Затем можно воспользоваться бесплатным инструментом Google Web Optimizer, на который можно быстро подписаться, и выполнить упражнения, представленные в этой главе.

Недели 1 и 2: почему проверка и каковы ваши возможности

Мне нравятся эксперименты и проверки. Никаких недочетов, никаких вопросов, никаких предположений... Нет ничего лучше, чем искать ответы на вопросы, находясь на передовой, а не отсиживаться пассивно в тылу, лишь анализируя данные о посещаемости сайта.

В первые две недели попробуем оценить значение эффективной стратегии проверки. Затем углубимся в понимание возможностей, которые она предоставляет. Вы также оцените все преимущества и недостатки каждой методики, что позволит выбрать правильное оружие.

Неделя 1: подготовка и проведение проверки A/B

Большинство веб-сайтов не подвергаются проверке. Многие чувствуют, что данная процедура слишком сложна, либо руководство не изучило достаточно ее возможности. Просто обзаведитесь надежными средствами проверки, позволяющими судить об успехе сайта в доле стоимости.

Понедельник:понятие случая для проверки

Поскольку веб продолжает развиваться, появляются некоторые интересные и динамические тенденции, приводящие к уникальным проблемам. Тенденции относятся к двум категориям: проблемы компании (сотрудники, организационные структуры, сложности мировоззрения) и проблемы клиента (слишком широкий выбор, счастливые щелчки, давление времени на результат нетерпения, являешься сюда сегодня — выходишь завтра). В результате теперь намного тяжелее определить, как выработать оптимальные впечатления. Рассмотрим некоторые из наиболее очевидных проблем, перед которыми стоим все мы.

Клиенты редко предоставляют нам решения для реализации

Большинство клиентов ожидают неоптимальных впечатлений. Когда предоставляется возможность, эти клиенты с радостью делятся всем, что у них не работает. Однако они редко предоставляют решения для реализации. Например, клиент может сказать: “Я не могу найти диаграмму сравнения товаров”, а мог бы сказать: “у вас слева нет средств навигации, а кнопка Comparison Chart (Диаграмма сравнения) слишком мала и незаметна”. Как можно заметить, это способно стать огромной проблемой.

Даже наиболее феноменальное впечатление о сайте до завтра поубавится

Вы могли бы иметь весьма совершенный сайт, но из-за способа работы веб ваша судьба находится в руках других. Если ваш веб-сайт не из самых популярных, вы не можете “учить” клиентов, чего ожидать от веб-сайта. Например, Microsoft и Yahoo! используют Ajax и раскрывающиеся меню, а Amazon.com полностью устраняет заголовок. веб постоянно развивается. Еще не получил распространения Web 2.0, а уже ходят слухи о Web 3.0, хотя вы, как и я, конечно, все еще пользуемся Web 1.0. И только. Если у вас есть возможность легко и с небольшими издержками опробовать новые вещи, вы можете поддержать темп удовлетворения ожиданий клиента и помочь им с их проблемами.

Сотрудники компании обычно не знают, чего хотят клиенты

Когда дело доходит до веб-дизайна, в большинстве компаний сокращение HiPPO по ряду причин расшифровывают как мнение самой высокооплачиваемой персоны (Highest Paid Person’s Opinion). Сотрудники компании, особенно HiPPO, полагают, что их впечатления соответствуют впечатлениям клиентов. Если нашей VP не нравится наш сайт, мы изменяем его. В действительности сотрудники компании слишком близки к ее интересам, товарам и услугам, а следовательно, знают о них слишком много. Фактически в 80% случаев персонал компании (да, включая вас, мистер Спиффи Дизайнер (Spiffy Designer), и вас, мистер Флейвор (Flavor) из Month Agency Guy) неверно представляют себе, чего хотят клиенты. Единственный способ это узнать заключается в том, чтобы заиметь механизмы, позволяющие вести диалог с клиентами, чтобы они сообщили вам, что ищут (и это не всегда будет Ajax или Flash).

Представьте попытку провести в реальном мире проверку 30-секундного рекламного шлягера ценой в 1,5 млн. долларов во время матча Super Bowl. Какова вероятность того, что вам (и трем парням из вашего агентства) это позволят? Теперь представьте создание на вашем веб-сайте виртуального музыкального автомата, позволяющего посетителям настроить список проигрываемых песен. Через 15 дней получите из списка наиболее популярную песню просто на блюдечке с голубой каемочкой. Какова вероятность того, что в ваших руках не окажется новый хит? Действительно здорово.

Подсчитайте, во сколько обойдется вашей компании проведение проверки, или продвижения, или создание связок, или подбор подходящей цветовой палитры, при которой ваша штуковина (gizmo) будет продаваться, или создание корректного расчета, или определение средств, которые вы должны реализовать, чтобы избавиться от нового конкурента, или проверка наличия рынка для новой сумасшедшей идеи, Бог знаетдля чего, список велик.

Вторник: изучение недостатков

Возможно, солидные эксперименты и тщательные проверки докажут несостоятельность основы вашего бизнес-случая. Доказательства этого желательно получить быстро и однозначно (в 80% случаев, как свидетельствует опыт автора). Это, конечно, не самая радостная новость. Но давайте посмотрим с другой стороны. Разве вы бы не отдали многое за возможность быстро внедрять свои идеи, а также выяснять, что думают люди, которые в конечном счете будут осуществлять судьбоносные для вас решения?

Возможность быстро проверить, что работает, а что нет, плюс перебор реальных отзывов клиентов — это стратегическое преимущество для вашей компании.

Эксперименты и проверки в конечном счете заменят наиболее традиционные способы сбора качественных данных о впечатлениях, производимых сайтом, например лабораторный анализа применимости. Применимость веб-сайта (замеренная лабораторно, на дому или дистанционно) может зачастую оказаться “менее чем идеальной”, поскольку к концу дня это будет мнение о веб-сайте восьми или десяти человек, и, как ни печально, оно не будет учитывать сложность и причины существования веб-сайта, зачастую находящиеся в противоречии с целями посещения сайта клиентами. В главе 3, “Обзор качественных показателей”, уже обсуждался эффект Хоторна, который также отрицательно воздействует на результаты анализа применимости.

Например, если клиентам нравится заниматься серфингом по нашим веб-сайтам в пижаме, то почему не обеспечить их нижним бельем на время исследований применимости? С эффективной программой проверки вы можете делать абсолютно все. Вы потратите часть средств на предоставление личных отзыв, но получите массив данных и устраните отрицательное воздействие эффекта Хоторна.

Важно понять, что эксперименты бывают не только большими и сложными, а и вполне доступными. Нам посчастливилось жить во время, когда существует множество возможностей, позволяющих копать шире и глубже, насколько нам хочется и насколько позволяют средства. (Цена, между прочим, снижается каждый день — например, продукт Google’s Website Optimizer вообще бесплатен.)

Среда: краткий обзор методик

Экспериментирование как бизнес-концепция — не новость. Автономной проверкой маркетологи занимаются целую вечность. Различные рекламные предложения обычно проверяют в разных телемагазинах, чтобы выяснить, что срабатывает лучше. Такие компании, как Procter & Gamble, перед представлением новых товаров проверяют их в художественной форме. Прямые маркетологи — это, возможно, непосредственные предшественники того, что происходит в веб начиная с момента, когда

DMers сделали невероятную многопараметрическую проверку с различными предложениями, продвижениями, креативами, компоновками, содержимым и всем остальным. Только DMers сделали это с обычной почтой и каталогами.

Совет. Если вашей организации необходимы люди, которые действительно “проводят” проверку, то они могут стать вашим проводником при поиске людей в вашей DM-организации.

Мир эволюционирует, в настоящее время потребность в экспериментах и вебпроверках удовлетворяют три основные методики: проверка A/B, многопараметрическая проверка и проверка впечатления. Две из них используются чаще — это A/B и многопараметрическая проверка. Последняя наиболее популярна. Поэтому остальную часть недели и всю вторую неделю посвятим изучению преимуществ каждой из них.

Четверг и пятница: понятие проверки A/B

Это могло бы показаться всеобъемлющей категорией, которая представляет все виды проверок. Но под методиками проверки A/B (или A/B/C или A/B/A) подразумевается более чем одна версия полной веб-страницы.

Каждая версия веб-страницы при проверке A/B создается уникально и в единственной позиции. Рис. 10.1 иллюстрирует простую проверку A/B/C, где проверяются три версии домашней страницы на предмет лучшего соответствия ключевым целям. Версия A — обычно контрольная, версии B и C, как правило, имеют несколько отличий от контрольной и друг от друга.

У вас могут быть собственные разработки или разработчики создадут разные версии страницы; в зависимости от сложности веб-платформы вы можете установить страницы и замерить. Большинство веб-платформ позволяет предоставлять посетителям веб-сайта разные версии страниц, а также использовать связанные с ними правила (например, 50% посетителей показывать страницу A, 25% — страницу B, и остальным 25% — страницу C). Даже если вы имеете статическую платформу, то все равно можете организовать передачу произвольной страницы определенному набору посетителей веб-сайта.

Преимущества проверок A/B

• Это, возможно, самый дешевый способ проверки, поскольку вы используете собственные ресурсы, инструменты и процессы.

• Если никаких других проверок вы не проводите, это прекрасный способ побудить вашу организацию к решительным действиям.

• Совет: в первое время организуйте соревнование между членами группы (если это возможно) и выберите победителя. Вы будете удивлены эффектом социального поведении и азартом персонала.

Рис. 10.1. Пример проверки A/B/C домашней страницы

Недостатки проверок A/B

• Трудно проконтролировать все внешние факторы (кампании, поисковый трафик, пресс-релизы, сезонность), поэтому это не даст 100% уверенности в результатах (порядка 70% доверия результатам вполне приемлемо для принятия решения).

• Возможности проверки ограничены только самым простым материалом.

• Количество вариантов, которые можно проверять одновременно, также ограничено. Чтобы исследовать много вариантов, придется создать десятки версий страницы. Но даже тогда будет трудно применить математические подходы, чтобы выяснить, чем является статистически существенный результат деятельности со всеми вариациями, которые вы можете иметь.

Практический результат проверок A/B

Проверка A/B — первое пробное погружение в мир проверки. Ее чрезвычайно просто создать и реализовать (препятствие, как всегда, — найти хорошие идеи для проверки). Если ваша платформа по какой-либо из причин не позволяет проводить параллельные проверки, вам придется делать это последовательно. Пуритан стошнит, конечно, но делать это нужно. Попытайтесь по возможности контролировать внешние факторы, но если не получается, придется подучиться и сформировать у организации правильное мировоззрение относительно направления. Проверка A/B все еще полезна для больших изменений.

Стр. 272

Неделя 2: выход за пределы проверки A/B

Проверка A/B конечно вводит нас в мир проверки, но в мокрых носках. Если вебсайт огромен и необходимо большое количество проверок, то самое время организовать проверку нескольких вариантов одновременно, а с простой проверкой A/B это сделать трудно. Это связано со сложностью процессов, множеством препятствий, которые придется преодолевать, чтобы получить достаточно ресурсов, и временем, необходимым на проверку всех ваших идей (осуществляемую, по сути, последовательно). Если находите, что это связывает вам руки, значит, пришло время выходить за пределы проверок A/B.

Понедельник: краткий обзор многопараметрической проверки

В настоящее время многопараметрическая проверка (multivariate testing) — это прекрасное дитя на пьедестале, вызывающее много шума и разговоров. В приведенной выше проверке A/B предстояло создать три страницы. Теперь вообразите, что страница разделена на модули (т.е. части). В результате имеется только одна страница, но она может изменяться динамически, в зависимости от отображаемых ею модулей и ее трафика. Затем представьте, что все это можно поместить в сложный математический процессор, который сообщит вам не только версию сработавшей страницы, но и корреляции.

Рис. 10.2 демонстрирует, как такая проверка могла бы выглядеть и работать. Можно взять стандартную домашнюю страницу и разделить ее на логические элементы (некоторые производители называют их зонами (zone)). Страница на рисунке имеет четыре элемента (их может быть сколько угодно). Используя многопараметрическую проверку, можно проверять содержимое по каждому элементу, но что важнее всего, можно проверять несколько фрагментов содержимого каждого элемента. Ну разве это не замечательно!

Так, например, вы могли бы иметь три части содержимого или новшеств в каждом из четырех элементов (рис. 10.3) и экспериментировать с тремя различными частями содержимого в элементе #1, представленном на рис. 10.2.

Реальные многопараметрические проверки сразу и радикально меняют многие вещи. Это основное различие между ними и проверками A/B.

В примере на рис. 10.2, если применять по три альтернативы для каждого из четырех элементов, получится 81 возможная комбинация. Используя имеющиеся в наличии решения производителя по многопараметрической проверке (Multivariate Testing, MVT), вам не придется создавать 81 страницу. Платформа проверки сама позаботится о создании комбинаций. Кроме того, вам даже не придется проверять все разнообразные перестановки и комбинации; вы можете применить метод Тагучи (Taguchi), который в приведенном выше случае мог проверять только восемь версии (называемых также рецептами (recipe)) и все равно вычислить результат, как будто проверен все 81 вариант.

Рис. 10.2. Многопараметрическая проверка

Рис. 10.3. Преимущество многопараметрической проверки: несколько версий на каждый элемент

В конце проверки можете получить данные, которые отобразят статистическую значимость ее результатов. Рис. 10.4 демонстрирует результаты изменения трех разных вариантов исследуемой веб-страницы: Subheading (Подзаголовок), Hero shot (Снимок героя) (главное изображение на странице), наличие кнопки Buy Now (Купить сейчас) или ее отсутствие. Эти результаты указывают, что первые два варианта многообещающи, а третий фактически вреден. Весь математический комплекс применяется самостоятельно, а результаты предоставляются в простом и наглядном виде.

Рис. 10.4. Статистическая значимость результатов проверки

Вторник: преимущества и недостатки многопараметрической проверки

Поскольку это очень важно, резервируем целый день, чтобы рассмотреть все преимущества и недостатки многопараметрической проверки. Из всех методик, находящихся в вашем распоряжении, вы, вероятней всего, реализуете именно эту как самую быструю. Хотя это чрезвычайно хорошая и полезная методика, она имеет ряд недостатков, которые следует учитывать, чтобы не преувеличивать перед руководством полученные результаты и оптимально реализовать возможности многопараметрической проверки.

Преимущества многопараметрической проверки

• Осуществляя многопараметрическую проверку, напрягите свои способности работать много и быстро, что обусловлено двумя причинами.

• Ныне такие исполнители, как Offermatica, Optimost и SiteSpect, способны помочь вам быстро получить все функциональные возможности дистанционно (вероятно, благодаря модели ASP). Они предоставляют хостинг содержимого, правила проверки и атрибуты, а также всю необходимую аналитику и статистику. В самом начале вы можете использовать бесплатный Google Website Optimizer, который предоставит вам все функциональные возможности, необходимые на начальном этапе, а также мощные средства составления отчетов.

Стр. 275

• Вы не должны полагаться на свою группу информационных технологий. Все, что они должны делать, так это поместить несколько строк кода JavaScript на страницу, а они это уже сделали. Это громадное преимущество, поскольку, как правило, IT и ограничения платформы веб-сайта — огромное препятствие. После того как код JavaScript оказывается на страницах, вы можете запускать и останавливать проверки, контролируя все их элементы (или предоставить это упражнение вашим интеллектуальным маркетологам).

• Многопараметрические проверки прекрасно подходят для структурных впечатлений и рекламных страниц. В обоих случаях существует четкая цель посещения (приглашенный или незваный). Если цель вам ясна, используя многопараметрическую проверку, можно быстро оптимизировать результат деятельности клиента или бизнеса.

• Это может быть методика непрерывного изучения. После того как вы поместите проверочные дескрипторы на свой веб-сайт, вы можете непрерывно проверять, изучать и оптимизировать опыт своих клиентов. Например, вы можете запустить проверку для оптимизации некоторого элемента (или элементов) страницы краткого обзора товара, а затем, в ее конце, выявить победителя нажатием лишь одной кнопки, после чего сразу же перейти к проверке следующей идеи. Это потребует также неких дополнительных знаний, кроме способности придумать пригодные для проверки идеи.

Недостатки многопараметрической проверки

• Старая компьютерная пословица гласит: будьте внимательны, мусор на входе — мусор на выходе (GIGO). Вам все равно нужен набор хороших идей, источником которых могут быть проблемы клиента или стратегические бизнес-цели. Это так же просто, как быстро оптимизировать не оптимальное, но в данном случае не получится столь существенного бизнес-воздействия.

• Впечатления о большинстве веб-сайтов — это сложные, многостраничные документы. Для веб-сайта электронной торговли вполне типично 12-18 страниц описания впечатлений от выбора до успешного приобретения, для сайта поддержки типично даже большее количество страниц (поскольку его посетители мечутся в поисках). При многопараметрической проверке вы оптимизируете только одну страницу и независимо от того, как это сделать, она не сможет сказаться на окончательном результате, только один или два шага.

• При многопараметрической проверке существует тенденция сосредотачиваться на домашней странице и подразумевать, что все остальное будет хорошо. Следует быть внимательным и позаботиться, чтобы у руководства сложились правильные ожидания относительно воздействия на впечатления клиента. (В противном случае они во всем обвинят методику.)

Практические результаты многопараметрической проверки

Вам определенно следует провести многопараметрическую проверку. Нет никакой причины и никаких препятствий с точки зрения возможностей производителя или скорости развертывания. Для оптимизации страницы просто не придумали ничего лучше. Но подобно любому продукту, необходимо знать его ограничения и использовать мудро (даже если производитель обещает вам сделать многомиллионные возмещения и кофе на завтрак тоже).

Среда: краткий обзор проверки впечатлений

Проверка впечатлений (experience testing) представляет собой некий вид проверки, позволяющий изменить впечатление посетителя о сайте с использованием возможностей платформы последнего (например, ATG или Blue Martini Software). Вы не можете что-либо изменять только на одной странице (как при многопараметрической проверке или проверке A/B) или один элемент на нескольких страницах (например, левую панель навигации или фрагмент текста), вы можете изменять на веб-сайте все с точки зрения общего впечатления.

Рис. 10.5 демонстрирует упрощенный процесс прохождения посетителем веб-сайта Microsoft в ходе покупки при помощи Microsoft Money. Это самый короткий путь, который посетитель может избрать. Как правило, он просмотрел бы демонстрационную версию, сравнил бы или проверил товар перед покупкой. Даже этот простой процесс потребует нескольких страниц описания. При проверке A/B или многопараметрической проверке было бы крайне сложно оптимизировать впечатление посетителя.

Если бы платформа Microsoft позволила, то, проверяя впечатления, вы могли бы попробовать экспериментировать с их различными видами на сайте. Например, вы могли бы создать один вариант веб-сайта (версия A), который сегментирован на основании версии продуктов Windows и Macintosh, другой вариант (версия B), сегментированный по текущим и новым клиентам, а третий (версия C) с белым шрифтом по фиолетовому фону, безо всякой навигации слева и улыбающимся младенцем вместо снимка товара. Вот вам идея.

Различие сравниваемых здесь методик заключается в том, что вы сегментируете и заменяете многостраничные впечатления. На самом деле вы экспериментируете с различными способами решения проблем ваших клиентов, внося глубокие изменения, охватывающие несколько страниц веб-сайта и по несколько элементов впечатлений клиента (например, это может быть не только замена рыночно-продвиженческого слота на всех страницах веб-сайта).

Применяя проверку впечатлений, вам не придется создавать три или четыре вебсайта. Вместо этого, используя платформу вашего сайта, вы можете легко создать два или три постоянных элемента на нем, и посмотреть, на какие из них ваши клиенты реагируют лучше всего. (Конечно, вы использовали бы файлы cookie, чтобы убедиться в том, что ни один клиент просмотрел несколько версий сайта.) Поскольку любые аналитические инструменты применяются для сбора данных во всех трех случаях, анализ делается так же, как и в настоящее время.

Четверг: преимущества и недостатки проверки впечатлений

Что за жизнь без недостатков? Давайте попробуем оценить преимущества, предоставляемые проверкой впечатлений компании и веб-сайту. Уделим также время изучению издержек на проведение проверки впечатлений, и сформулируем, как необходимо подводить итог проверки впечатлений и излагать свое мнение (своему боссу).

Рис. 10.5. Проверка впечатлений

Преимущества проверки впечатлений

• Это Нирвана. Вы имеете возможность проверить своих клиентов в естественных условиях и собрать данные, которые наилучшим образом отражают их мысли.

• Если качественные методы интегрированы, вы можете читать их мысли о каждом элементе.

• Вы получите в пять, в десять раз более мощные результаты, чем дает любая другая методика, поскольку вы преодолеваете некоторые из описанных ранее ограничений MVT.

• Одна из проблем оптимизации и анализа результатов заключается в том, что трудно определить, что следует оптимизировать для локальных максимумов (“кривая”, которую вы видите прямо сейчас) и переходить ли к другим, глобальным максимумам. Используя проверку впечатлений, вы увеличиваете свои шансы перехода от максимизации текущей кривой, или локальных максимумов, к совершенно иной кривой, которая имеет более высокий глобальный максимум и иной наклон (рис. 10.6). Разница может быть огромной.

Рис. 10.6. Переход от локальных максимумов к глобальным с проверкой впечатлений

Недостатки проверки впечатлений

• Необходимо иметь платформу веб-сайта, которая поддерживает проверку впечатлений (например, ATG).

• Она требует больше времени на создание, проведение и замер результатов, чем две другие методики, поскольку здесь все придется делать в основном самому. На настоящий момент нет никакого стандартного программного обеспечения для проверки впечатлений.

• Здесь требуется намного больше интеллекта, нужны большие идеи, радикальные решения, сложный анализ.

Стр. 279

Практические результаты проверки впечатлений

Проверка впечатлений желанна для многих компаний, поскольку она требует многого с точки зрения людей и технологий. Все больше и больше компаний находят, что они оптимизированы на уровне страницы или специфическом уровне предложения кампании, но им осталось провести куда более глубокие проверки, чтобы достичь более серьезного результата, который поможет им победить конкурентов. Это рождает спрос, приводящий к появлению большого количества исполнителей, проводящих проверку впечатлений и обслуживающих большее количество веб-платформ по разным “сценариям” их сайтов. Все это стирает грани между проверкой и обслуживанием содержимого, а также персонализацией и отслеживанием поведения. Это должно быть забавно.

Пятница: осмысление

За эти две недели мы рассмотрели чрезвычайно сложную тему. Теперь подведем итоги того, что было изучено до сих пор, и постараемся найти собственный бизнесслучай. Инициируйте проверку в своей компании, или (если программа уже имеется) прикиньте, как применить ее на следующем уровне.

Определите свое текущее состояние, свои текущие возможности и вопросы, на которые ваша компания неспособна ответить, но которые было бы необходимо решить.

Если вы завалены сотнями элементов данных, но понятия не имеете, что делать с вашей домашней страницей, PPC или рекламными страницами, либо почему никто на вашем веб-сайте не пользуется тележкой (корзинкой), вы извлечете массу преимуществ, проведя проверку. Ваш бизнес-случай должен открыться при этом.

Неделя 3: что проверять — специфические возможности и идеи

Выпейте Kool-Aid и узнаете все, что необходимо знать о проверке. У вас подписан контракт с исполнителем. Вы озадачили группу информационных технологий размещением дескрипторов JavaScript и созданием разных версий страниц. Прекрасно! Теперь необходимы лишь собственные идеи, что делать и как. Данный раздел поможет вам с этим.

Прежде чем автор объявит идеи, он считает важным заявить, что не существует двух идентичных веб-предпринимателей. Каждый бизнес уникален и имеет собственную экосистему (люди, стратегии, акцентирование, цели и т.д.). Следовательно, ваш веб-сайт нуждается в собственном наборе идей для проверки. То, что сработает для одних, не обязательно будет эффективно для других. Хотелось бы надеяться, что изложенные в этом разделе идеи дадут вам пищу для размышлений.

В конце каждого дня создавайте список идей из этого раздела, которые, по вашему мнению, сработают у вас. В конце недели распределите идеи по приоритетам, которые формируют основу вашей рабочей стратегии.

Понедельник: проверка важнейших страниц и побуждений к действию

Первые кандидаты на проверку — это главные страницы веб-сайта (подразумевается домашняя страница или страница с таблицей сравнения) и побуждение к действию, которое вы имеете для своих клиентов. Это важнейшие, высококлассные проверки, которые могут произвести неотразимое воздействие на ваших клиентов, а также помочь вам предстать в лучшем виде в глазах заинтересованных лиц.

Проверка важнейших страниц веб-сайта

Один из самых очевидных выигрышей от проверки — это оптимизация страниц. Выявите несколько наиболее важных страниц веб-сайта и выясните, кто обладает ими и какова их цель. Затем оптимизируйте некоторые из них с использованием проверок A/B или многопараметрических проверок.

К этой группе, очевидно, относится домашняя страница, самые популярные элементы страниц веб-сайта, специальные рекламные страницы и страницы расчета, а также тележки.

По мере перехода от домашней страницы к страницам элементов и рекламным страницам сложность уменьшается. Поскольку страницы становятся все более специализированными, их будет проще оптимизировать для определенной цели.

Еще одно преимущество начала с важнейших страниц, это то, что с ними обычно связан большой PR, что никак не повредит.

Глобальные элементы — также превосходные цели. Проверьте, например, какие типы заголовков срабатывают на вашем сайте (поскольку они одинаковы для всех страниц): с брендом или размытые, полужирные с действиями или со значительными предложениями, вкладки (как на Amazon.com) или без вкладок. Такая проверка позволяет затронуть весь сайт и сделать воздействие постоянным.

Рассмотрение побуждений к действию

Это самый простой, но на удивление влиятельный способ побудить клиентов к действию. Попытайтесь выяснить, как это реализовано у вас.

Давайте обдумаем кнопки: почему кнопка Buy Now (Купить сейчас) работает лучше, чем Add To Cart (Добавить в корзинку)? Работают ли синие кнопки лучше, чем зеленые? Должны ли кнопки быть ниже или выше? Может быть текстовые ссылки лучше кнопок? Что еще?

Учтите срочность: это хорошо работает для eBay и Overstock.com, например, который вкладывает собственный смысл в безотлагательность процесса приобретения

(возможно, ложный?). Попробуйте включить выражения, имитирующие крайнюю срочность: “В наличии осталось только 5 кукол Барби”, “Срок предложения истекает через 15 минут”, “Предложение теряет силу 16-го октября”, “Купи сейчас и спасешься”. Идею вы поняли.

Это поможет вам лучше понять мировоззрение ваших клиентов и оптимизировать используемый подход.

Вторник: сосредоточьтесь на поисковом трафике

Обычно мы боремся за выяснение намерений наших клиентов. В случае поискового трафика ключевое слово или ключевая фраза могут многое подсказать о намерениях клиента. Вы можете проводить эксперименты по поисковому трафику, например, просто выявляя повторения ключевых фраз поиска на рекламной странице (будь то специальная рекламная страница или только стандартная).

Для наиболее важных ключевых фраз рассмотрите возможность создания специальных рекламных страниц, перебирающих значения, которые вы желаете связать с ключевыми фразами и различными побуждениями к действию. (Это может быть очень хорошо для “Click here to go to the next page” (Щелкните здесь для перехода на следующую страницу), но не очень хорошо для “Buy now”.)

Если вы не знаете, что работает, а что нет, единственный очевидный ответ — проверка. Но что забавней всего, это возможность манипулировать существующим содержимым и страницами на платформе проверки. Например, для отображения специального содержимого на результирующей домашней странице веб-сайта можно использовать Offermatica. (Специальное содержимое (custom content) — это может быть содержимое, связанное с ключевым словом, или содержимое, из которого удалена часть второстепенных элементов для лучшей связи с пользователем.)

Среда: проверка содержимого и творчества

Это то, с чего начинает большинство людей, когда дело доходит до проверки. В тоже время это одна из тех проверок, корректность проведения которой чаще всего подлежит сомнению, поскольку все полагают, что им известно, для чего клиенты приходят на веб-сайт, но чаще всего подобные предположения ошибочны.

К проверяемому содержимому может относиться следующее:

• количество копий (много слов или меньше);

• форматирование (короткие или длинные абзацы, длинные страницы с анкерами

или короткие страницы с глубоким содержимым на разных страницах).

Однажды автор провел весьма радикальную проверку содержимого, просто удалив все слова со страницы и заменив их одной строкой текста, после чего замерил эффективность новой идеи с точки зрения достижения ключевой бизнес-цели (это сработало благодаря обаянию). Интересный момент здесь в том, что мышление должно быть креативным.

С точки зрения творчества можно проверить следующее:

• изображения людей или фотографии товаров;

• много свободного пространства на сайте или сайт перегружен изображениями;

• совершенно новый сайт на Flash и Ajax или сайт в стиле Yahoo! примерно 1996 года;

• с логотипами или без логотипов;

• с визированием брендов или без них;

• большие фотографии героев на домашней странице или четыре маленьких.

На веб-сайтах поддержки можно применить проверку на уровне страницы или многопараметрическую проверку, чтобы быстро установить, какие форматы презентаций лучше срабатывают для страниц ответов или как должны быть организованы результаты поисковой системы, или как представить ссылки на пользовательские форумы или блоги.

Четверг: проверка цен и продвижения

Один из самых недооцененных способов применения проверки — с целью тарификации и продвижения. Иногда это связано с тем, что данный тип проверки требует интеграции с внутренней структурой веб-сайта, т.е. чтобы предложения могли обслуживаться вашей платформой проверки, они должны быть приняты для выполнения внутренней структурой. Еще одна проблема заключается в том, что некоторые производители средств проверки не могут обеспечить эффективный контроль пансеансов (так, посетитель может прийти на сайт два раза за день и увидеть разные цены, что намного хуже, чем просмотр двух версий домашней страницы).

Но если для вас это не проблема, проверка ценовой чувствительности (testing price sensitivity) — это фантастическое применение платформы проверки. Предположим, необходимо оценить, как работает несколько видов скидок: 10 долларов немедленно или 15 по почте. А также 10, 15 или 25 долларов. Или бесплатная доставка, или без нее, или бесплатная доставка только после определенной суммы заказа.

Проверка — это также великолепный способ опробовать различные связки товаров на сайте, или прокрутки связки продвижений, или рыночных идей, поскольку она позволяет очень быстро и эффективно убедиться, что срабатывает для ваших клиентов. Проверка покупок с нагрузкой (cross-sell) и навязывания покупок (up-sell) (срабатывает не только покупка с нагрузкой и навязывание товара, влияние оказывает и расположение на странице, и момент представления, в корзинке или на страницах подробностей о товаре).

Можно также проводить проверки на основании источника трафика. Однако некое приложение должно изолировать определенную группу последнего (например, по каждому из ваших партнеров, или от вашего корпоративного веб-сайта, или от MSN.com), чтобы проверять тарификацию и продвижения только на данном сегменте трафика.

Пятница: проверка прямых маркетинговых кампаний

Благодаря появлению улучшенных приложений чтения электронной почты HTML маркетологи получили также возможность извлечь значительно больше здравого смысла из проведения усложненных проверок электронной почты. Им представилась возможность перейти от простого планирования различных предложений к определенным группам клиентов. Теперь они способны динамически изменять содержимое электронной почты, чтобы непосредственно проверить творческие подходы, содержимое, продвижения, побуждения к действиям и все остальное одновременно.

Кроме того, при помощи электронной почты можно проверять сроки (например, выходные или будни, рабочее время или вечера). С электронной почтой вы точно знаете, ну ладно, почти точно, кто посылает вам ее и кто может обеспечивать дополнительный слой проверки персонализации и осуществления некоего динамического обмена сообщениями, чтобы выяснить, достигается ли желаемый результат.

Замечательным в реализации проверок на вашем веб-сайте является то, что теперь вы не ограничены проверкой только отправленной электронной почты. Теперь вы можете продолжать проверку и персонализацию и поддерживать электронную почту при помощи веб-сайта, когда клиент щелкает на ссылке электронной почты и посещает веб-сайт. Это позволяет вам исследовать даже большее количество вариантов после посещения веб-сайта, или вы можете проверять только пару вариантов по электронной почте, чтобы не усложнять, а затем добавлять другие слои после щелчка на вашем веб-сайте.

Вы не ограничены только электронной почтой. Если вы больше полагаетесь на кампании по обычной почте, то основной трафик пойдет в ваш веб-сайт через переадресацию или потребует ввода специального кода продвижения. В этом случае вы также больше узнаете о клиентах и их намерениях. Это прекрасный сценарий проведения проверок и оптимизации впечатлений клиента. Помните, проверяя результаты с большим количеством параметров, вы можете получить более подробную информацию о клиенте.

Даже если такая коллекция идей для веб-сайта не может полностью проиллюстрировать возможности, предоставляемые солидной стратегией проверки для существенного улучшения впечатлений клиентов о веб-сайте, она дополнит ваш практический результат (но не обязательно подойдет всем). Но, возможно, наиболее перспективной из всех мотиваций для сотрудников вашей компании является то, что проверка обеспечивает демократию идей (idea democracy).

В прошлом побеждала идея самого главного. Теперь, при наличии проверок, значительно быстрее и дешевле (с точки зрения времени и денег) иметь набор хороших идей и просто проверять их, позволяя клиентам сообщать, что для них оптимальнее. Вы имеете те же возможности проверить на сайте свою сумасшедшую мысль, что и сам основатель компании, или главный разработчик, или самый дорогой (с точки зрения зарплаты) маркетолог, аналитик, MBA. Насколько это замечательно! Полная демократия идей.

Неделя 4: создание солидной программы экспериментов и проверок

Хорошая новость: сегодня проверка все больше воспринимается как нечто непременное для любой приличной веб-программы, поскольку она способна оказать решительное воздействие на веб-сайт, его практический результат и его клиентов. Кроме того, современные технологии, облегчающие проверку ваших идей и понимание, быстро дешевеют. Мы больше не ограничены длительными циклами выпусков веб-сайтов, IT, маркетингом или другими подобными препятствиями. В самой простой модели на сайт помещают дескриптор JavaScript, а затем используют систему вашего исполнителя для проведения необходимой проверки и замера успеха без необходимости дополнительной работы с разработчиками или персоналом информационных технологий.

Однако культура проверок укрепилась не во всех компаниях. Некоторые компании увязли в самых упрощенных проверках A/B или многопараметрических проверках (настолько простых, что реальная мощь многопараметрических проверок даже не затрагивается).

Наличие контракта с исполнителем и доступ к технологиям дает очень многое. Но вам самим, чтобы извлечь пользу из платформы проверки, придется, скорее всего, создать программу проверки (сотрудники, процессы, структуры, мировоззрение, вознаграждения и т.д.). Это покажется особенно справедливым после нескольких месяцев проверки, поскольку со временем становится все труднее представлять те же 150% на улучшение показателя переходов, когда все яблоки на ветках пониже будут уже сорваны. Создание программы позволяет компании получить эффективную поддержку для своей стратегии проверки.

Потратим эту неделю на рассмотрение рекомендаций, способных помочь вам создать собственную программу экспериментов и проверок.

Понедельник: набор гипотез и целей

Давайте посмотрим, насколько иногда важно не торопиться и выполнить то, что и так очевидно: сначала уяснить цели, а затем проводить проверку. Обе рекомендации кажутся вполне понятными, но их действительная значимость не столь очевидна. Итак, закройте дверь своего офиса и запаситесь карандашом и бумагой для заметок.

Превозмогите собственные мнения

Это не очень приятно, но имеет первостепенную важность. Если вы запускаете программу, то сначала важно превозмочь себя самого. Если вы собираетесь убедить всех в том, что проверка и подтверждения должны стать способом жизни, вам придется сначала выпить немало Kool-Aid. (Из опыта автора следует, что более укрепившееся мнение в компании, вероятней всего, является неправильным.)

Когда автор заводил разговор о проверке и укрепившихся мнениях, ему в ответ не раз приходилось выслушивать истории о фатальных промахах. Поэтому он решил поделиться ими с читателями и включил раздел “Поучительные истории”.

Поучительные истории

Когда я впервые увидел демонстрационную версию корзины покупателя и процесса расчета на базе Flash, я был абсолютно уверен, что это дар Божий для клиентов. Она была очень проста, обладала передовой обработкой ошибок, процесс на пять страниц был сведен к одной, а кроме того, были решены некоторые фундаментальные проблемы, с которыми клиенты сталкивались в ходе покупки.

Однако когда мы проверили это на нашем реальном веб-сайте, используя проверку A/B, корзинка Flash первоначально выглядела ужасно. Это был удар. Кроме того, клиенты предпочитали “более сложный” и “громоздкий” элемент HTML и не были готовы к столь замечательному оптимальному средству.

Я был абсолютно не прав по поводу того, что будет работать, а что нет, но без проверки мы бы просто реализовали элемент на Flash в полном убеждении, что Flash лучше HTML. В этом нет ничего необычного. Как сотрудники компании мы просто слишком близки ей, нашим товарам и услугам. Трудно сделать пару шагов в сторону и встать на место клиентов (а следовательно, представить, чего они хотят и ожидают).

Практический результат: вы получите внимательную аудиторию и измените свое мнение гораздо быстрее.

Выдвижение гипотезы, а не сценарий проверки

Зачастую люди приходят к вам и говорят: “Я хочу проверить различные снимки. Вы можете заменить это изображение текстом? Мы должны опробовать различные продвижения”. Золотое правило: всегда начинайте проверки с гипотез, а не с деталей или сценариев проверки.

Обратитесь к такому человеку и спросите: “Это что, ваша гипотеза?” Просто удивительно, как часто люди бывают ошеломлены этим. Дело в том, что люди обычно не задумываются столь глубоко.

Магия этого вопроса в том, что он вынуждает остановиться и задуматься. Впоследствии они возвращаются и объясняют: “Моя гипотеза в том, что изображения людей вызывают намного больше доверия, чем нынешние снимки товаров. Следовательно, мы будем иметь более высокую степень лояльности (или сбыта, или любого другого)” или “Моя гипотеза в том, что посетителей сайта больше заинтересует содержимое, созданное пользователем, чем пропаганда нашей компании”.

Начав с гипотезы, можно переходить к результатам деятельности.

• Теперь вы можете создавать проверки, а не только заявлять: “я хочу то, я хочу это”.

• Каждая хорошо проработанная гипотеза содержит четкое определение показателя успеха (именно так можно узнать, которая из версий победила). Если таковой в гипотезе не очевиден, значит, продумана она плохо.

Заранее установите цели и показатели

Еще одна большая ошибка, которую зачастую совершают: даже когда известен показатель успеха, не все удосуживаются установить параметры, по которым можно судить о “победе”.

Определите показатели успеха для проверки прежде, чем запустите ее, и не забывайте о целях этих показателей.

Предположим, например, что вы начинаете проверку с целью улучшения показателя переходов. Прекрасно. Так откуда вы узнаете, что он улучшился? Зачастую это не обдумывают заранее, а ведь это чрезвычайно важно по двум следующим причинам.

• Это заставляет вас подумать и сделать некоторые выводы о том, что представляют собой тенденции данных показателей успеха и обозначить цели проверки.

• Вы сможете определить, должны ли вы делать проверку в первую очередь. Вы будете удивлены, насколько часто вам придется проводить исследования, практический результат которых будет минимален, или понадобится месяцев девять, чтобы отделить зерна от плевел и принять решение. Так, при проверке улыбающихся младенцев на домашней странице оказывается, что улучшение показателя переходов составило только 0,001% (таков ли прогнозируемый результат?), возможно, эта проверка не заслуживает внимания, и нужно придумать чем-нибудь более мощное. Но если вы имеете 10 миллиардов долларов на сбыте через веб-сайт, то 0,001% повышения прибыли, безусловно, обеспечит вам уважение хозяина компании или парня (девочки) с большим титулом, чем у вас.

Установка целей и показателей с самого начала направит мысли в нужное русло и одновременно подтолкнет к созданию проверок, позволяющих максимально усовершенствовать впечатления клиента о вашем сайте.

Вторник: проверка и подтверждение нескольких целей

Это важно. Почти все проверки преследуют одну цель, особенно если компания игнорирует многопараметрические проверки. Поместите дескриптор JavaScript на проверяемое поле или страницу, пойте Happy Birthday, ешьте пирог и ждите результатов (они будут хороши!).

Жизнь и впечатления клиента значительно сложней. Цели, приводящие посетителей на веб-сайт, весьма многообразны. Используя текущий инструмент многопараметрической проверки и перебрав другие интегрированные инструменты, вы сможете измерить воздействие вашей проверки на все цели.

Возможно, посетители приходят на вашу домашнюю страницу за покупкой, в поисках работы, для распечатки информации о товаре, чтобы прочитать биографию основателя фирмы, или в поисках номера телефона службы поддержки. Если вы решите провести многопараметрическую проверку только относительно продажи (показателя переходов), это может весьма негативно сказаться на ваших клиентах, преследующих другие цели. Знаете ли вы, что случается при проверках, которые вы проводите?

Предположим, что порядка 30% посетителей приходит на веб-сайт за покупками, а 70% с другой целью. Если вы измеряете не несколько целей, то оптимизируете сайт только для 30% посетителей, а это может иметь серьезные последствия для большей части вашего трафика (при этом вы даже не будете об этом знать!).

Следует подчеркнуть необходимость интеграции разных наборов данных и инструментов, имеющих доступ к вашей веб-аналитике. Например, интеграции результатов деятельности на веб-сайте с поведением клиента или анализом посещаемости сайта и опросами. Это может быть серьезным преимуществом при необходимости измерять несколько целей.

Рассмотрим простой пример интеграции инструментов: вы получаете статистическую значимость и успешность по одной цели от исполнителя проверки. Но, приложив немного усилий и сообразительности, можно интегрировать параметры проверки с инструментом опроса. Это позволит измерить показатель переходов и показатель удовлетворения требований заказчика, а также получить открытый отзыв клиента по каждой проверяемой версии. Можно также интегрировать параметры проверки с инструментом анализа посещаемости сайта (от ClickTracks, Omniture, IndexTools, WebTrends или WebSideStory), который позволит измерять показатели переходов, удовлетворения требований заказчика и плотность щелчков, а также последовательно анализировать каждую проверяемую версию.

Вообразите, что вы выяснили, улучшила ли проверка переход, а также имеется ли совместное воздействие на другие ссылки вашей страницы и другие сегменты посетителей. Это может быть бесценно.

Измерения одной цели несколько первых месяцев можно быть достаточно. Но только перейдя на корректную многоцелевую проверку, можно получить возможность принимать оптимальные решения и, соответственно, создать для компании такую программу, которая обеспечит долгосрочное преимущество в конкуренции.

Среда: двигайтесь от простого к сложному

Сегодня рассмотрим ключевой парадокс проверки: простота или сложность. Последняя имеет массу воздействий на ваших клиентов и практический результат, но первая — это реальный ключ к созданию программы и фантастическому началу. Кроме того, обсудим важность смены мировоззрения, позволяющую упростить программу, поскольку это поможет вам в достижении долгосрочного успеха больше, чем любая сложнейшая проверка.

Одобрите простые или "глупые" начальные проверки

Программы проверки выполняют действительно интеллектуальные люди. Тем не менее зачастую они не придерживаются рекомендации начинать с гипотез. Когда к бизнес-клиентам приходят с простыми проверками, те, насмеявшись, требуют глубоких и сложных сценариев в стиле Альберта Эйнштейна (Albert Einstein). Это совершенно неверно на ранних этапах программы.

Пока ваша программа находится в младенчестве, ее цель должна быть проста и понятна. Необходимо добиться смены мировоззрения. Наилучший способ достичь этого заключается в том, чтобы сперва одобрить и провести несколько простых проверок, которые зародились в умах ваших маркетологов, дизайнеров и ответственных лиц компании. Замечательным результатом станет то, что они наверняка увлекутся проверкой, поскольку это их собственные идеи, и выиграют они или проиграют, но вы продемонстрируете им мощь данного инструмента и методики.

Предупреждение. Это уловка-22, вступающая в игру при такой стратегии: следует делать простые маленькие проверки, чтобы выработать необходимое мировоззрение и привить тягу к выигрышу, однако маленькие проверки и маленькие победы дают и небольшой результат. Если необходимы крупные победы при проверке, придется делать большие ставки (осуществляя радикальные перемены или испытывая различные революционные идеи). Другими словами, если вы плотите арахисом, то наймете только обезьян.

Вы всегда должны стремиться изменить мировоззрение, постоянно переходя к выполнению все “больших” и сложных проверок, которые подразумевают намного большее, чем прогон с изображением героя на домашней странице. На ранних этапах проверяйте идеи ваших пользователей независимо от их глобальности, но со временем стремитесь к проведению более сложных и фундаментальных проверок.

Создавайте забавное окружение

Мы зачастую забываем, что это должно быть интересно. Не исключены ситуации, когда вы можете “играть” со своими клиентами как со слепыми котятами. Это страшновато. Проверка должна быть забавна и она должна напрячь ваши умственные способности.

Как уже упоминалось, один из самых простых способов привлечь к проверке всех (IT, маркетологов, руководство и других) — это сделать ставку на результаты (только там, где пари допустимо). Все любят пари, а поскольку все сложно проверить, им очень понравится победа (мы не переносим проигрыша, сам проверял!). Остановитесь на небольшой ставке, скажем, один доллар за каждое верное предсказание успеха или победившей в проверке версии.

Результатом столь простой рекомендации будет то, что на протяжении процесса проверки люди будут охвачены азартом, что заставит их внимательно отслеживать ее

ход, изучая таким образом сложные измерения. После того как победитель проверки будет объявлен, “проигравшим” будет интересно выяснить и проанализировать, почему они действительно проиграли и как научиться делать так, чтобы в следующий раз выиграть.

Четверг: сосредоточьтесь на евангелизме и экспертизе

Рекомендация номер один — в любой успешной программе необходимы два ключевых человека: евангелист проверки (testing evangelist) и эксперт проверки (testing expert).

Немногие люди исповедуют религию проверки. Для ее проведения понадобится евангелист. Не просто некто, кто “умеет это”, а тот, кто обладает талантом общения, искренней любовью, пониманием бизнеса и способен идти и проповедовать свои суждения. Даже если этот человек не знает, что такое r2, ничего страшного.

Для запуска программы необходим эксперт проверки — тот, кто погряз в показателях, данных и сложных вычислениях. Этот человек должен иметь достаточно бизнес опыта, чтобы рассмотреть проверки, обеспечить хороший отзыв и даже помогать отыскивать новые прибыльные идеи (и выдвигать их политически грамотно, по одной через некоторое время). Такой человек должен быть интеллектуален, энергичен и прекрасно себя чувствующим в мирах количественных и качественных аналитических критериев, описанных в главе 4.

Данная позиция важна потому, что мир проверки еще очень молод. Даже если производителю удастся убедить вас в превосходстве его инструмента над инструментами конкурентов, остается самая большая проблема — наличие перспективных идей для проверки и точное измерение успеха.

Существует много прекрасных производителей (автор имел большой опыт многопараметрической проверки с использованием Offermatica и Google Web Optimizer). Различия между инструментами не будут вашим главным ограничением на протяжении некоторого времени (проверка идей, культура, сложность программы и внедрения). Так, если у вас есть знакомый, работающий в SiteSpect, наймите его. Но не забудьте обзавестись экспертом.

Пятница: реализуйте два ключевых компонента любой программы проверки

Важность существования стратегии проверки, а также что является залогом построения успешной программы аналитики, мы еще рассмотрим.

Сегодня же обсудим критическую важность реализации двух компонентов, которые гарантируют долгосрочный успех программе проверки. Реализация в компании каждого из них, а также процесс и сбор требований может занять в зависимости от конкретных обстоятельств больше одного дня. Тем не менее главное — понять их значимость и удостовериться в работоспособности.

Процесс

Проверка — это немного искусство, но в основном все же наука. Для компании жизненно важно иметь реалистичную и масштабируемую программу проверки, чтобы получить простой и четкий процесс ее реализации. Хороший процесс позволяет определить следующее:

• шаги, которые необходимо сделать для запуска проверки;

• должности, которые необходимо укомплектовать;

• конкретные обязанности для каждой должности;

• четкую структуру для принятия решений.

Рис. 10.7 иллюстрирует полный процесс проверки (вероятный).

Рис. 10.7. Надежный процесс проверки: шаги, роли и обязанности

Для компании и ее окружения вы создаете уникальный процесс и структуру принятия решения. Вот важнейшие соображения, которые имеет смысл учитывать.

• Вы, конечно, обратили внимание на то, что “пузырьки” на слайде PowerPoint весьма подробны с точки зрения шагов процесса. Автор не может согласиться, что этого достаточно. Если вы намереваетесь улучшить среду проверки в компании, чрезвычайно важно получить эти части правильно, поскольку вы проводите большее количество проверок, вовлекая намного больше людей и подвижных частей (moving part). Если не уделить время документированию процесса и не помочь каждому определить стоящие перед ним задачи, вероятность отказа существенно увеличится.

• Роли меняются в зависимости от текущей части процесса. Обратите внимание: каждый пузырек имеет определенное, четко указанное ответственное лицо (маркетолог, аналитик, лидер IT). На рис. 10.7 указаны специалисты, которые наилучшим образом справятся с процессом на каждом этапе, гарантируя оптимальное качество.

• Некоторые должности и люди на некоторых рабочих этапах пересекаются, и это важно знать. Это усилие группы в целом, но подчеркнутое совмещение гарантирует, что каждый человек в группе точно знает круг своих обязанностей, а также происходящее на каждом рабочем этапе и кто за него ответственен.

Процесс не заканчивается запуском. Это общепринятая ошибка во многих процессах, наблюдаемых автором. Они заканчиваются либо запуском, либо анализом. Процесс на рис. 10.7 явно нуждается в анализе, а также в аналитике проверок, чтобы предоставить рекомендации. Затем, на последнем рабочем этапе, потребуется также принять бизнес-решение по рекомендациям и предпринять соответствующие действия. Важно подчеркнуть это и прояснить, кто несет ответственность за выработку решения (в данном случае это маркетолог).

Большинство из нас пугает слово процесс (process), поскольку с ним ассоциируется негатив и небольшие шансы на выигрыш. Но это неправильное восприятие. Хорошо документированный процесс может быть просто слайдом PowerPoint, который в простой форме представляет схему процесса. Даже на ней можно заметить различные неупорядоченности, оплошности, масштабируемость и здравомыслие. Можно также решить начать с простого, а затем, по мере приобретения квалификации, оптимизировать процесс или добавить больше подробностей.

Сбор требований

Более чем любая другая часть на рис. 10.7, эта критически отличается средой выполнения при ходе от шага 1 до 4. Результат данных этапов определяет все остальное, что будет происходить в цикле проверки.

Для компании необходимо создать документ требований проверки (Testing Requirements Document), который будет содержать следующие важнейшие элементы (обычно заполняемые маркетологом или заказчиком проверки совместно с другими заинтересованными лицами).

• Постановка гипотезы.

• Какова бизнес-проблема или сложность, которую предстоит решить?

• Какова гипотеза?

• Бизнес-случай.

• Это краткое обоснование того, почему данная проверка должна быть проведена. Оно должно базироваться на эффектах, ожидаемых для бизнеса или вебсайта в результате решения приведенной выше проблемы. Это вынуждает маркетолога или заказчика продумать задание на проверку в среде, где всегда имеется большее количество работы, которая будет сделана, и ресурсы, доступные для этого; с приоритетами поможет оператор.

• Аудитория проверки.

• Кто собирается участвовать в проверке? Каков процент трафика? Какая группа людей приходит с Google? Какое поведение на сайте вызовет проверку? Четко сформулированная аудитория проверки критически важна, поскольку это поможет оценить возможности проверки (в зависимости от того, что вы хотите проверять). Помня о большом количестве нюансов в вашем определении аудитории проверки, можно повысить вероятность обретения действенного понимания и, в свою очередь, получить результаты, которые воздействуют на практический итог.

• Детали проверки.

• Описание и детали по каждой группе проверки (для A/B/C, или MVT, зоны и элементы).

• Детали по проверяемым страницам веб-сайта и содержимому.

• Глубина и ширина проверки, что может потребовать интеграции с другими элементами (внутренняя структура приложения, аналитика).

• Если на данный момент это возможно, то ссылки на творчество, содержимое, изображения, подробности, предложения и все остальное, что поможет аналитику оценить запрос на проверку с расширенным контекстом и выяснить все данные, необходимые для измерения успеха.

• Мера успеха (осуществляется аналитиком и маркетологом).

• Каковы ключевые показатели, определяющие успех?

• Каковы текущие значения этих показателей?

• Каковы цели проверки по каждому показателю?

• Насколько должны улучшиться данные показатели, чтобы можно было объявлять победу?

• Действия по результатам проверки.

• Какие изменения будут сделаны, если проверка окончится успехом?

• Кого следует оповестить?

• Какими могли бы быть следующие шаги на основании результатов проверки?

Если проделать эту работу заранее, план проверки практически гарантирует успех. Ваш документ требований станет общепринятой точкой зрения группы (которая может состоять из людей, удаленных географически), к которой можно обращаться в ходе создания и выполнения проверки (наряду с документами процесса). Каждый может буквально останавливаться на той же странице, и вы получите куда более высокие возможности масштабирования и успеха.

Глубина каждой проверки определяется исключительно вами. У некоторых цель может быть достигнута за пару часов. Но большинство из проверок, тем не менее, потребуют многих часов обдумывания и усилий, за которые в ходе проверки воздастся сторицей. При наличии четко сформулированного документа наподобие предложенного выше можно получить независимую от обстоятельств историю, значение которой трудно переоценить.