Некогда дегустация вслепую была очень популярной телевизионной рекламой. Возможно, самой известной из них была реклама Pepsi, но дегустация вслепую применялась и для мексиканского пива, и для кетчупов, и даже шоколадного печенья. Возможно, вы даже сталкивались со слепой дегустацией парфюма и кондиционеров для белья.

Мой папа использовал эту же технологию для меня в детстве, убеждая, что желтый американский сыр точно такой же на вкус, как и белый. Я был относительно придирчивым едоком и совсем не любил желтый сыр. У меня очень развито визуальное восприятие, поэтому как еда выглядит, так она на меня и воздействует. Мой папа был действительно расстроен, что я не хотел есть желтый сыр, поэтому он сделал два сэндвича и попросил попробовать каждый с повязкой на глазах. Я действительно не почувствовал разницы. Позже я был реабилитирован, когда он попытался обмануть меня, положив обезжиренный сыр в контейнер с обычным. Я отличил его сразу же!

В маркетинге сплит-концепция берет начало в слепом тестировании, но современные технологии в интернете сделали эту идею проще, доступнее и ценнее. Сегодня сплит-тест не намного отличается от прямого слепого тестирования. В случае с сыром я знал, что прохожу тест, и мой «пользовательский контекст» отличался от предстоящего опыта в реальной жизни (со сливочным сыром). Сплит-тест позволяет проверять многих посетителей, даже не подозревающих об этом. Именно этот факт кардинально увеличивает точность результатов.

С другой стороны, надо помнить конечную цель тестирования. Слепые исследования обычно используются в маркетинговых целях или научных изысканиях. Цель состоит в том, чтобы сделать манипуляции с брендами доступными для понимания. Назначение бренда — всего лишь получение эффекта от слепого тестирования: если бренд узнаваем, люди удостоят его вниманием.

Сплит-тестирование используется для объединения данных, фактически самых популярных по дизайну или элементам. Используя эту технику, вы способны выявить лучший дизайн или стиль и понять, как стратегически улучшить сайт. Тестировать можно абсолютно разные вещи. В моей компании по оптимизации коэффициента конверсии мы проводим сплит-тестирование дизайна веб-страниц, трафика (например, рекламы Google), тем оформления электронных писем и многого другого. Конверсия для рекламы с оплатой за каждый клик может быть измерена отслеживанием переходов потенциального клиента на сайт по клику или даже по страничной конверсии. При тестировании электронной почты под измерением конверсии понимается чистый коэффициент, или коэффициент выбора рекламного объявления. Все, что находится на сайте, можно назвать моментом конверсии, например клик, согласие на рассылку, заказ и все то, что мы обсуждали в первой главе. С помощью программного обеспечения сплит-тестирования легко получить более точные данные по коэффициентам конверсий и оптимизировать их, чтобы ближе подобраться к конвертированию каждого клика.

Вот как это работает

Скажем, вы переделали одну из страниц на своем сайте и думаете, что это увеличит конверсии. Неважно, насколько хороша страница, — вы все равно хотите протестировать ее и убедиться, что она лучше предыдущей. Вы проводите сплит-тестирование, сравнивая старую и новую версии страницы: вводите адреса URL для обеих версий в специальную тестовую программу.

Рис. 4.1 наглядно показывает, как это выглядит. Вы будете удивлены, узнав, как много людей изменили свои страницы без тестирования, в результате чего пострадали их конверсии. Скажем, за определенный отрезок времени к вам на сайт приходят 1000 посетителей. Если у вас два варианта страницы, программа автоматически делит трафик и отправляет 500 человек на одну страницу и 500 — на другую. Вы устанавливаете конечную конверсию и хотите ее измерить (например, продажи), затем программа отслеживает число сконвертированных посетителей на каждой странице. Все это происходит автоматически, поэтому от вас требуется только ждать и наблюдать, какой из вариантов окажется выигрышным.

Рис. 4.1. Сплит-тестирование — это стратегия разделения вашего трафика, когда одну часть посетителей вы отправляете на действующую страницу, а другую — на новую ее версию, чтобы посмотреть, какая даст лучшие результаты. Это позволит измерить истинное поведение вместо того, чтобы предполагать или догадываться

Большинство программ сплит-тестирования подсчитывают, достаточно ли у вас информации для выявления победителя. Затем вы просто устанавливаете эту версию страницы на действующем сайте. Иногда определение победившей страницы может занять много времени (самое долгое тестирование для маленького сайта я наблюдал в течение двух месяцев). Но иногда это происходит за минуты, например на сайтах с тысячной дневной конверсией. Важно понимать: все, что для этого нужно, — как можно больше посетителей. Небольшое количество сведений не позволяет выполнить точный подсчет. Когда вы подкидываете монетку, статистический шанс для нее приземлиться решкой — 50 %. Но если вы подбросите ее только четыре раза, есть вероятность, что она все четыре раза опустится решкой. Вам нужно больше данных. Если подбросить монетку 100 раз, то, возможно, она 48 раз приземлится решкой вверх и 52 раза — решкой вниз. Теперь статистика будет близка к 50 %. Когда вы тестируете веб-страницы, максимальный сбор данных очень важен.

Точно так же как с подбрасыванием монетки: А-версия страницы может дать 10 конверсий подряд. Вы решите, что это и есть победитель, и прекратите тестирование. Но если вы продолжите и соберете больше данных, то, возможно, обнаружите, что победила версия В. К счастью, большинство программ помогают, если вы будете иметь достаточное количество информации. Вам нужно собрать больше информации, чтобы получить то, что называют статистической значимостью. Это достоверное математическое измерение, в котором один вариант лучше другого. Общее правило меры статистики: вам необходимо более 95 % достоверности. Лично я определяю планку в 98 % и выше, если возможно, но здесь существуют и другие факторы, о которых мы поговорим позже.

Рис. 4.2 показывает, что ранние победители не подтверждают своего преимущества при долгом тестировании. Сплит-тестирование по-настоящему увлекает. Как только вы точно определите победителя, можете начинать создавать нечто более совершенное. Это затяжной процесс улучшения, использующий статистические данные для подстраховки ваших решений. Вот почему оптимизация уровня конверсии работает так эффективно: все тестируется и отслеживается. Традиционная оптимизация уровня конверсии в первую очередь смотрит на результаты сплит-тестирования страниц сайта, поэтому мы сейчас концентрируемся на этом. Как только вы поймете принцип сплит-тестирования, сможете использовать его для тестирования ваших email-рассылок, рекламы за клик — почти для всего, что захотите. Возможно, вы решите применить несколько другие технологии тестирования или иное программное обеспечение, но идея останется прежней.

Рис. 4.2. Чтобы получить точные результаты сплит-тестирования, необходима статистическая значимость — высококлассное измерение достоверности результатов

Что такое A/B-тестирование

A/B-тестирование означает, что у вас есть два решения: A и B. К примеру, у вас два различных заголовка на главной странице и вы хотите их протестировать, чтобы понять, какой конвертирует лучше. Может показаться глупым называть это A/B- вместо сплит-тестирования, но существуют и более сложные сплит-тесты, которые вы можете использовать. Вскоре мы подойдем к ним.

Как и когда применять A/B-тестирование

Есть несколько путей проведения тестирования A/B на веб-странице.

К примеру, у вас есть две версии страницы на разных адресах URL (например, адреса сайтов типа www.yoursite.com). Вы можете ввести эти адреса в бесплатную тестовую программу, такую как Google Content Experiments. Или использовать платную программу, например Optimizely или Visual Website Optimizer, предоставляющую возможность работать с визуальным редактором. С такой опцией вы сможете вводить адрес URL действующей страницы и вносить изменения напрямую в тестовой программе, используя простую функцию перетаскивания в визуальном редакторе (операция drag-and-drop). Эта опция хороша для небольших изменений.

Для кардинальных преобразований проще размещать страницу на другом адресе URL. Если в компании нет веб-дизайнеров, графический редактор — отличное решение. Не нужно быть специалистом в программных кодах: вы просто вносите небольшие изменения в визуальном редакторе, и программа автоматически печатает их на специальную тестовую страницу. Для маленьких сайтов и компаний это отличное решение, чтобы быстро начать сплит-тестирование.

Возможно, вы удивитесь, насколько большими должны быть тесты. Нужно ли немедленно тестировать маленькую идею, например изменение заголовка или изображение, или же анализировать только крупные изменения, такие как полная реконструкция страницы? Я бы сказал, что все зависит от цели и опыта. Если вы тестируете множество изменений сразу, то можете достичь больших успехов за короткий промежуток времени. Однако сложно сказать, какие именно поправки принесут желаемый эффект. С другой стороны, если вы тестируете одно изменение, то значительный рост может потребовать большего времени. Но так проще понять, какое именно изменение привело к конверсии.

Исходя из опыта, я предпочитаю делать большие и сложные изменения максимально быстро. А прежде чем взять на себя большие риски, я предпочитаю начинать с маленьких поправок, чтобы удостовериться в верности предположений. Если вы новичок, то, возможно, захотите начать с малого и протестировать одно или два изменения за раз. Чем больше у вас трафика и продаж, тем больше маленьких изменений окажут весомый эффект. Обычно с крупными клиентами мы обсуждаем варианты стратегий и вместе решаем, какой курс действий лучше в каждой отдельной ситуации.

Когда необходимо тестировать

A/B-тестирование стоит применять при любых изменениях на сайте, спланированном под конверсию. Одна из самых больших ловушек конверсии срабатывает, когда осуществляется непроверенная, порой фатальная идея. Но я больше сталкиваюсь с неудачной реализацией, чем с плохими идеями. К примеру, у вас появилась мысль изменить сайт, но в новом дизайне сайта кнопка «Заказать сейчас» находится в самом низу страницы. Идея свежего оформления неплохая, но положение кнопки оказывается катастрофическим. И если вы осознали, что это и есть фатальная ошибка, — вы сделали первый шаг к победе. Все становится очевидным после теста.

Одни из самых больших ошибок, которые я когда-либо видел, происходят из-за того, что новый сайт не тестировали на сравнение с прежним. К примеру, мы говорим о существующей мультимиллионной компании. Она действительно намучилась с ребрендингом. Управление провело исследования на удобство использования: в итоге новый сайт выглядит достаточно привлекательным и современным, с массой всяческих ненужных функций, которые только мог придумать дизайнер. С точки зрения наглядности это смотрится великолепно. Но никто не провел сравнительного тестирования старого и нового сайтов. В результате продажи компании резко упали — на 300 % в месяц, а восстановление прежнего уровня заняло много месяцев. Посетители просто не могли найти правильную страницу или нужную информацию, чтобы сделать заказ. Одна эта ошибка обошлась владельцам компании в миллионы долларов упущенной прибыли. Однако все можно было быстро исправить простым A/B-сплит-тестированием. Поэтому поднимите свою правую руку и повторяйте за мной: «Не важно, насколько я умный или стратегически мыслящий, я осознаю, что всегда существует вероятность ухудшения конверсий. Я торжественно клянусь, что серьезно отнесусь к сплит-тестированию моих новых веб-страниц, сравнивая их со старыми версиями, чтобы удостовериться, что я ничего не упустил».

Что такое многомерное тестирование

Тестирование двух версий и более, в противовес простому двойному А/В, называется многомерным тестированием. Технически все сплит-тесты многомерные, потому что «много» означает два или более. Но в мире конверсии мы используем слово многомерное, подразумевая «более двух».

Существует несколько видов многомерного тестирования. Первый мы называем A/B/C/D-тестированием, или A/B/n. A/B/C/D-тестирование — в действительности A/B/n-тест четырех страниц, на каждой проверяется что-то свое. Вы одновременно тестируете все страницы в сравнении с другими. Представим, что у вас есть целевая страница и вы не знаете, как улучшить конверсии. Вы нанимаете четырех дизайнеров, чтобы реконструировать одну и ту же страницу, а затем с помощью тестовой программы просто сравниваете их друг с другом и со старой.

В этом случае вы выполняете A/B/C/D/E-тестирование, не сильно отличающееся от A/B-тестирования, о котором мы говорили ранее. Все просто: существует четыре дополнительные версии страницы. Оригинальная версия — А, известная как контрольная, а B/C/D/E — новые дизайны. Четыре здесь не магическое число. Вы можете протестировать на сравнение любое количество страниц. Это могут быть A/B/C/D/E, A/B/C/D/E/F и т. д. Вы уловили суть. Рис. 4.3 иллюстрирует многомерный тест с четырьмя вариантами и текущей версией страницы в качестве контрольной.

Рис. 4.3. Многомерный тест позволяет проводить сплит-тестирование с большим количеством страниц. «Многомерный» — означает, что вы можете тестировать более двух вариантов

Многомерное комбинированное тестирование

Другой тип многомерного тестирования — именно то, о чем думает большинство, впервые услышав эту фразу. Я называю это многомерным комбинированным тестом. Скажем, у вас есть сайт и вы хотите провести тестирование по пяти различным элементам — основному изображению, заголовку, двум разным местам с мотивировкой действия и сноске боковой панели. Вы можете протестировать каждый из этих элементов по отдельности, используя A/B/n-тестирование, но это только поможет определить, какой лучше. Такой анализ ничего не скажет по поводу комбинаций этих элементов. Многомерный тест позволит тестировать все или некоторые различные варианты в комбинации. Вот, к примеру.

Идея 1: изменение текста в заголовке.

Идея 2: перемещение кнопки влево.

Идея 3: изменение фонового цвета.

Вы можете получить много конверсий с этими тремя элементами. Но тестировали ли их все одновременно? Что если две идеи работают, а одна нет? Как вы узнаете, какая не работает? Если вы поместили все новые идеи на одну страницу и провели A/B-тестирование на сравнение со старой версией страницы, как определите, что происходит? Если тестирование будет неудовлетворительным, то как вы узнаете, почему? Если результат будет положительным, вы также не узнаете, почему. Если две идеи хороши, а одна неудачна, то подавляют ли они друг друга? Уменьшат ли они ваш коэффициент конверсии?

Чтобы создать комбинированный тест, необходимо выделить различные идеи в комбинированные группы, например группы первичного заголовка, кнопки и фона — обозначим их A, C и E. Затем нужно присвоить имена новому заголовку, кнопке и фону — B, D и F. Теперь можно объединить их в пары. Таблица комбинирования может выглядеть следующим образом:

A C E B C E

A C F B C F

A D E B D E

A D F и т. д.

Как видите, это сбивает с толку. Здесь есть над чем подумать. К счастью, существует программа, которая все может решить за вас.

Как и когда использовать комбинированное тестирование

У многомерного комбинированного тестирования есть значительный недостаток. Для этого теста необходимо огромное количество трафика, иначе проверка займет много времени. Если у вас большая компания или более тысячи посещений сайта в день, то несложно получить необходимое количество людей для построения статистической значимости и достоверности результатов. Но что делать, если всего сто посетителей в день и вы рассматриваете девять или более вариантов теста? Помните, что трафик равномерно распределяется между всеми вариантами страницы. Разделение этой сотни людей на восемь вариантов означает, что для построения статистической достоверности вам потребуется намного больше времени. Другими словами, придется долго определять победителя, потому что в день только около девяти человек будут посещать каждую версию страницы. И у этих девяти, возможно, окажется плохой день. Чтобы определить действительно выигрышную комбинацию, понадобится большое количество данных. И если на вашем сайте нет постоянного трафика, можете ждать результатов комбинированного тестирования много недель или месяцев. Конечно, есть шанс немного сократить время, исключив однотипные или наименее выигрышные комбинации — то есть сузив выбор. Как правило, комбинированное тестирование больше всего подходит компаниям или сайтам с приличным количеством трафика. В ином случае желательно прибегнуть к улучшению маленьких участков, применяя A/B-сплит-тест.

В итоге: если у вас много трафика — используйте комбинированное тестирование, с его помощью вы определите наилучшую комбинацию элементов для улучшения конверсий. Также вы получите большую достоверность, потому что если проводить тест достаточно долго, сможете увидеть кривую комбинаций: от верхних, которые работают лучше всего, до тех, которые работают очень плохо или вообще не работают. Когда все результаты собраны, кривая будет явно просматриваться. Рис. 4.4, 4.5 и 4.6 показывают различные ее виды. Сперва рисунок иллюстрирует спорные результаты, но в конце концов выявляется победитель.

Рис. 4.4. В этой программе сплит-тестирования вы можете отслеживать различные типы диаграмм, чтобы прийти к выводу: кривая распределяется равномерно

Рис. 4.5. Две эти диаграммы отображены также на рис. 4.4

Рис. 4.6. Эта диаграмма показывает, что сплит-тестирование началось нечетко, но затем линии отделились друг от друга и определился победитель, так как была получена статистическая достоверность

Многоразмерное тестирование

Другой тип многомерного тестирования применяет похожие стратегии, основанные на методе Тагучи. Я называю их методами многоразмерного тестирования, потому что у них есть дополнительный уровень сложности.

Они используются для получения статистической достоверности тестирования и того уровня надежности, который вам нужен. Эти методы позволяют протестировать большое количество вариантов без обязательного наличия большого трафика. К сожалению, мои любимые инструменты сплит-тестирования пока не применяют эти развитые концепции. В «Лаборатории опытов» я более подробно затрону эту тему, исследуя некоторые варианты использования концепции наряду с ее разрушением. Понимание A/B-, A/B/n- и многомерного комбинированного тестирования поможет в изучении многоразмерного тестирования.

Лучшие современные инструменты тестирования

Секрет хорошего сплит-теста — в программном обеспечении. Вам нужно что-нибудь надежное и простое в использовании, обеспечивающее точные и легкие в понимании данные. Хотя существует великое множество сплит-тестовых программ, у меня есть несколько предпочтений, которые мы сейчас и обсудим.

Google Analytics Content Experiments

В течение многих лет одним из наиболее распространенных инструментов сплит-тестирования был «Оптимизатор сайтов Google» (Google Website Optimizer), который с тех пор включен в Google Analytics. Теперь это называется Google Analytics Content Experiments. Причина популярности этого программного обеспечения в том, что Google Analytics — широко используемый продукт, более того — бесплатный. Когда вы объединяете возможности сплит-тестирования с данными в Google Analytics, вам становятся доступны решения всей хост-системы, которые можно изменять и использовать для улучшения коэффициентов конверсии. Лично мне Content Experiments не очень нравится, потому что она довольно новая, но это отличное место старта, если вы работаете с бесплатным программным обеспечением. Я очень надеюсь, что в будущем эта программа предложит больше инструментов. Зная Google, скажу — это возможно. Рис. 4.7 иллюстрирует пример, как будет выглядеть отчет Google Analytics Content Experiments на экране.

Рис. 4.7. Google Analytics Content Experiments — прекрасный инструмент, в большей степени потому что бесплатный и включает простое A/B-тестирование. Эта иллюстрация — пример отчета тестирования для выявления абсолютного победителя

Visual Website Optimizer

Visual Website Optimizer (рис. 4.8) — еще одна довольно хорошая программа. Компания, продолжительное время работавшая в сфере конверсии, постоянно улучшала ее, поэтому она теперь быстро работает и проста в использовании.

Рис. 4.8. Visual Website Optimizer — инструмент сплит-тестирования, дополненный большим количеством встроенных инструментов, включая возможность создавать собственные варианты напрямую в программе с помощью компоновщика «перетаскивание»

Предрасположенным к визуальному восприятию пользователям эта программа нравится, потому что в собственном сплит-тестировании не нужно разбираться с программным языком HTML или другим кодированием.

В буквальном смысле вы можете кликать на веб-страницу в Visual Website Optimizer, менять заголовок, изменять текст и кнопки — все то, что я уже описывал, и без знаний каких-либо языков программирования.

Вы можете задумывать какие угодно изменения, но многие шаги настолько легко выполнять, что становится просто интересно пробовать новое в сплит-тестировании. Программа позволяет создавать разные версии, разделять трафик, определять выигрышные и проигрышные варианты и даже оповещает, когда пришла пора выявить лидера. Как только вы внесли желаемые изменения, вы можете проводить тестирование и не обращаться к команде технологов. Программа может даже автоматически запускать в работу лучший вариант, и в результате вы даже не потеряете деньги в ожидании декодирования страницы. Это одно из наиболее весомых достоинств Visual Website Optimizer, но далеко не единственное. Мне также нравится качественная информация, получаемая от его тепловой карты кликов: вы можете наблюдать, как люди взаимодействуют с вашей веб-страницей. Меня интересуют и более продвинутые инструменты, такие как геотаргетинг. И все эти преимущества доступны по разумной цене — вот что делает Virtual Website Optimizer моей любимой программой. Кстати, я нередко останавливаю на ней свой выбор для работы с предприятиями малого бизнеса.

Optimizely

Optimizely — новая блестящая игрушка, которая быстро превратилась в мой самый любимый инструмент. По своей функциональности она очень похожа на Visual Website Optimizer. У Optimizely тоже есть редактор перетаскивания, но он сделан проще, а также по умолчанию в нем меньше компонентов. Например, вам необходимо интегрироваться с третьей тепловой картой кликов программы, чтобы использовать эти компоненты. Но она предоставляет данные в более удобном для пользователя интерфейсе, поэтому все, что может быть сделано в Visual Website Optimizer, на один шаг проще в Optimizely, по моему мнению. На момент написания этой книги Optimizely была еще и дешевле.

Рис. 4.9 показывает, как Optimizely ведет себя при сплит-тестировании. Программа дает отличные результаты и замечательно визуализирована. Одна из моих любимых особенностей — возможность отслеживать результаты тестирования в реальном времени и обновляться каждые несколько секунд. Вы можете поставить сложные задачи — например, отслеживать места, по которым люди кликают, определять степень взаимодействия с вашим сайтом или выбор их путей. Данные собираются отдельно, но предоставляются в отчете все вместе и в реальном времени. У кого-то такая работа вызовет опасения, но на самом деле это забавно. Инструменты сплит-тестирования дают возможность обыгрывать разные варианты и идеи и оценивать различные результаты.

Рис. 4.9. С Optimizely просто проводить сплит-тестирование, даже если у вас нет знаний о программировании или IT-персонала. В настоящее время эта программа не обладает таким же количеством характеристик, как Visual Website Optimizer, но она более точна и интегрирована с другими важными инструментами. Самое важное то, что вы начинаете тестировать, не бездействуете, даже если это означает, что вы используете бесплатный инструмент Google

Чем больше разработано путей просмотра данных, тем лучше. Optimizely позволяет легко создавать различные пути достижения целей, поэтому я могу смотреть на тестирование момента микроконверсии более комплексно, и это прекрасно. Найдите время, чтобы все это попробовать. Я уверен, вы получите массу удовольствия и одновременно пользу для бизнеса.

Как избежать типичных ошибок в сплит-тесте

Не запускайте в работу новый сайт без сравнительного тестирования со старой версией. Вы обещали, помните? Это важно. Последняя вещь, которую вы можете сделать, — разрушить все, что наработали.

Не полагайтесь только на то, что у вас есть прекрасная идея, которую вы качественно воплотили: не факт, что она будет работать и хорошо конвертировать. Не поддавайтесь эмоциям при тестировании: новая идея может оказаться как хорошей, так и плохой. Запуск тестирования в инструментарии сплит-теста займет несколько минут, но может сэкономить ваши деньги.

Не тратьте время на маленькие и медленные изменения, только если они не стратегически важные. Если у вас большой бизнес, имеет смысл продвигаться медленно, делая незначительные поправки: даже 1 % изменения конверсий подразумевает миллионы долларов, а может, и больше. Но малому бизнесу иногда лучше сфокусироваться на большей картине, такой как корректировка воронки, чем тестирование различных цветов на кнопке «Закажите сейчас».

Не забудьте удостовериться, что вы правильно установили учет конверсии. Люди не любят тратить свое время. Худшее, что может быть в тестировании, — это выбор неверного направления и пустая трата времени и денег. До проведения главного тестирования с новыми клиентами мы тратим время на программу по сплит-тестированию, просто анализируя, чтобы понять — правильно ли сама программа взаимодействует со страницей и точно ли собирает конверсии.

Не путайте свои цели. Крайне важно правильно определить цели конверсии. Мы можем подразумевать под конверсией переход по ссылке, чтобы совершить покупку, или когда посетитель, попадая на страницу корзины покупок, действительно что-то приобретает. Но можем забыть, что конечная цель коэффициента конверсии — то, что можно сосчитать. Поэтому нужно отслеживать, как ваши цели, заявленные при тестировании, влияют на итог. Все зависит от того, какую информацию вы ищете и чего хотите добиться. Так или иначе, до начала тестирования необходимо удостовериться, что программа ведет учет грамотно. Тогда, без сомнения, вы можете задавать сложные конверсионные цели, так как мы уже говорили — с Optimizely это сделать нетрудно. Вам не нужны недостоверные данные, которые лишь отсылают вас в неверном направлении.

Не позволяйте цене вас напугать. Увеличение выручки может произойти всего лишь от одного сплит-тестирования, и это стоит того, чтобы ежемесячно на протяжении нескольких лет тратить деньги на программное обеспечение или консалтинговые издержки. С другой стороны, вы также снижаете риск потери денег от отсутствия тестирования. Это действительно стоящая информация.

Не делайте поспешных заключений, читая первые результаты тестирования. Победители могут меняться местами на ранних фазах теста, как вы видели на рис. 4.6. На первой минуте версия A — победитель, а на второй — версия B. Чтобы быть уверенным, вам необходимо чистое вертикальное разделение всех кривых по линии графика, тогда будет ясно просматриваться только один победитель на протяжении всего цикла тестирования.

Не игнорируйте внешние факторы, влияющие на тест. Хронологические обстоятельства, такие как время, день недели или даже сезон, также влияют на посещение интернета. Если вы разместите пост на Facebook в будни, в 10 утра, то, возможно, соберете 100 лайков. Но если вы сделаете то же самое в 6 вечера выходного дня, то можете получить 1000 лайков (или наоборот). Вот где действительно необходимо хорошо знать рынок. Существуют ли факторы, например сезонные, влияющие на результаты тестирования?