А/Б сплит тестирование: что общего у оптимизаторов и тестировщиков?

Попытавшись найти в яндексе информацию про A/Б сплит тестирование, обнаружила, что все ссылки ведут на сайты для оптимизаторов и "продвигателей" сайтов.

Ни одной ссылки на сайт для маркетологов, продакт-менеджеров или тестировщиков.А ведь это так замечательно вписывается в концепцию Business Driven Testing: инструмент, который позволяет понять, нравится ли пользователю то, что мы сделали?

Поэтому делюсь переводом статьи, оригинал которой находится здесь. Статья, конечно, тоже про оптимизацию продажнических, как я их называю, страниц. Но обзор и советы во второй части текста очень даже применимы для любого продукта, который мы хотим совершенствовать на основании реакции наших пользователей.




Большинство из вас знает концепцию A/Б сплит тестирования как метод определения, какие из элементов на странице способствуют цели веб-страницы, а какие нет.
Например, типичным тестом является сравнение двух разных хидеров на главной странице. Один из них может превосходить по показателям другой, и – опа! – вы в курсе, как привести страницу к лучшей производительности (здесь под производительностью имеются ввиду маркетинговые показатели, дальше станет ясно).

На самом деле, с помощью A/Б сплит тестирования можно делать намного больше.

1) Можно использовать A/Б сплит тестирование для того, чтобы лучше понимать желания ваших посетителей и их приоритеты во время посещения вашего сайта;

2) Можно использовать A/Б сплит тестирование для решения специфических проблем с вашими страницами. Другими словами, у вас в руках инструмент диагностики, призванный показать, что не так и как это исправить;

3) Можно использовать A/Б сплит тестирование для того, чтобы в корне опровергнуть предположения, живущие в вас в голове, о том, как наилучшим способом разработать или написать страницу. (Здесь речь не только о тестировании минорных элементов, но также и о полном и кардинальном ре-дизайне всей страницы).

Тут встает существенный вопрос. Тестирование приносит значимые результаты только тогда, когда вы тестируете постоянно. Одиночный тест сообщит вам очень мало. Но когда у вас появляется «привычка» постоянно тестировать, собирать тесты со временем, это даст существенный взнос в успех вашего сайта.

Наши собственные результаты, перечисленные в этом рассказе, как раз показывают, как много может быть достигнуто и изучено с помощью «простого» А/Б сплит теста.



Давайте взглянем на три теста и их результаты. Каждый из них показывает не только, как можно совершенствовать результаты, но и как можно узнать больше о том, что работает, а что не работает (здесь под «работает» понимается не функционирование без ошибок, а работу на результат, то, что элемент, страница или сайт работает так, как было задумано, и что он дает людям то, что они хотят), и чего на самом деле ищут посетители.

ТЕСТ1: Тестирование влияния Новостей на количественные показатели реакций на имейлы.

Мы провели простой тест с двумя имейлами, которые были написаны для увеличения количества заходов на сайт по ссылкам и конвертирования их в продажи.

В имейле 1 мы написали «продажнический» текст в контексте эмоционально заряженной новости, которая заодно была и заголовком.

В имейле 2 мы написали текст без специального упоминания о событии, но все также ссылающегося на «последние события в новостях»

Основным различием между двумя имейлами было то, что в одном событие упоминалось по имени, а во втором - нет.

Мы протестировали нашу рассылку на 337 466 емейлах-участниках.
Мы подвели итоги после 12 дней, хотя клики продолжали потихоньку сыпаться и после.

Вот результаты после первых 12 дней:

Результаты тестирования имейлов
	Имейл A	Имейл Б
Послано имейлов	168 733	168 733
Кликов	5 119	4 395
Кликов к показам (CTR)	3.03%	2.60%
Продаж	175	122
Конверсия (Клики в продажи)	3.42%	2.78%
Конверсия (Имейлы в продажи)	0.104%	0.072

Что здесь нужно понять: Имейл А (специально упоминавший новость и события, связанные с ней) значительно опережает имейл Б. CTR вырос на 16,5%, а полная конверсия (имейлов к продажам) на 43,4%.

Имейл, раскрывающий суть данной новости, сгенерировал на 53 заказа больше (что означает 43,4% рост), чем имейл, который лишь ссылался на события, окружающие рассказ, без специфических упоминаний.

ТЕСТ 2: Тестирование определенной проблемы

В нашем втором тесте мы были уверены, что наши клиенты, посещающие наш сайт с 800x600 или 1024x768 разрешением монитора, не находили релевантных ссылок на продажи на основном сайте продукта до тех пор, пока не проскролливали страницу до самого низа.

Мы устроили A/Б/В сплит тест для тестирования этой гипотезы:

Страница А была оригинальной страницей.

Страница Б – содержала сильно укороченные данные и использовала «click here» текст, чтобы привлечь посетителей вниз страницы. Эта страница отображала процесс заказа на 1024x768 мониторе, а на 800x600 мониторе она показывала копию заказа основного продукта

Страница В была радикально переделана таким образом, что процесс заказа был частично виден на мониторах с разрешениями 800x600 и выше. Здесь использовались 2 колонки, чтобы сделать доступной больше информации «выше перегиба».

И вот результаты нашего тестирования:

А/Б/В сплит тест
	Страница A	Страница Б	Страница В
Процент показов	34%	33%	33%
Новых продаж	244	282	114
Изменение	N/A	15.57%	- 53.28%

Что здесь нужно понять: Страница Б превзошла первоначальную на 15,57%, страница В оказалась совершеннейшим фейлом.

В нашей «веб-клинике» мы опросили нашу аудиторию, попросив предсказать, какая из этих страниц работала бы лучше. Преимущество они отдали странице В, показывая, что то, что кажется «очевидным» большинству маркетологов, не всегда соответствует на самом деле лучшей странице, выявленной после тестирования.

В этом тесте наша гипотеза важности размещения основных «продажнических» ссылок выше на странице оказалась верной. Более того, двухколоночный подход страницы В оказался вообще неэффективным.

ТЕСТ 3: Опровержение предположения тестированием «очевидного» и извлечение уроков из результатов.

В этом тесте мы создали 2 версии простых продажнических онлайн-страниц. Каждая страница была примерно 2 экрана в длину и просила читателя заполнить короткую форму для получения бесплатного информационного продукта.

В версии А мы добавили некоторые персонализированные элементы на страницу, включая фотографию автора, личное представление и подпись. Другими словами, мы создали личное «продажническое письмо» на веб-странице.

В версии Б продажнический текст был практически таким же, но без персонализированных элементов: ни фото, ни приветствия, ни подписи.

Какая же из версий выиграла? Общепринятая точка зрения нашептывала нам, что персонализированная версия выиграет. И вот результаты нашего тестирования:

A/Б сплит тест
	Версия A (персонализированная)	Версия Б (безличная)
Конверсия	34.6%	39.9%

Что здесь нужно понять: Версия Б превзошла версию А на 15,3%.
В этом случае, наши ожидания касательно выигрыша персонализированной страницы не оправдались.

И здесь нужно отметить 2 момента:

Во-первых, если бы мы никогда не тестировали эти страницы, вы могли бы остаться в проигрыше, предполагая, что персонализированная страница будет работать лучше.

Во-вторых, это был всего лишь один тест. Что если бы мы взяли персонализированную страницу и удвоили бы её длину? А если ещё и добавить индивидуальную рекламку? Что если бы мы каким-нибудь образом изменили фото, или расположили бы её в другом месте на странице?

Ключевой момент: Каждый тест дает ответы. Но каждый тест должен также стимулировать на дальнейшие размышления и дополнительные раунды тестирования для выяснения нового.

Резюмируя А/Б тестирование:

Использовали ли вы А/Б тестирование раньше или нет, следующие шаги могут помочь вам формализовать обычный порядок тестирования и улучшить ваши результаты.

Правила А/Б сплит тестирования для «Landing Pages» (страница, на которую попадает посетитель клацнув на рекламу, либо перейдя по ссылки с результата поискового запроса):

1) Развивайте ваши возможности и выбирайте правильные инструменты.

Инструменты для А/Б сплит тестирования могут варьироваться от простых CGI скриптов до сложных приложений. Но, даже без сложных возможностей А/Б сплит тестирования, последовательные тесты – это возможность для вас открыть много нового про ваши страницы.

2) Определите вашу контрольную страницу.

Ваша контрольная страница будет той страницей, по отношению к которой вы будет тестировать всю последующую работу по оптимизации. Если вы только начинаете А/Б Тестирование, вашей контрольной страницей будет ваша текущая «landing page» до оптимизации. Когда новая страница превзойдет существующую контрольную страницу, тогда она станет контрольной в последующем тестировании.

3) Установите Цели и Параметры вашего тестирования.

Чего вы пытаетесь достигнуть с помощью А/Б тестирования? Вы гонитесь за подписчиками, за повышением конверсии или за увеличением ROI ваших PPC (pay-per-click) кампаний. Ваши цели будут определять ваши параметры тестирования, которые в свою очередь определят потенциальный успех ваших усилий по тестированию.

4) Определите ваш интервал «достаточности тестирования».

Такой период времени должен давать вам достаточно времени для сбора нужной информации, чтобы измерить реальный инсайт от ваших тестов. Определите количество уникальных посетителей и/или конверсию, необходимые для обеспечения нужных данных, и затем определите, сколько времени займет у вас обеспечить такой траффик. Это количество, конечно же, будет варьироваться в зависимости от рода деятельности, но в любом случае, оно должно давать вам данные, чтобы однозначно определить победителя.

5) Создайте 1-3 радикальных редизайна.

Ключевой момент: Такие страницы должны содержать не просто неуловимые оптимизации, изменяющие один или два элемента на странице, а полностью различными подходами.

6) Измерьте такие редизайны с помощью А/Б Сплит тестов.

Протестируйте альтернативные страницы по отношению к контрольной странице. В идеале, каждая страница должна быть протестирована по отношению ко всем остальным страницам, но если это нереализуемо, тестируйте 2 страницы одновременно и оставляйте победителя как контрольную страницу для следующих тестов.

7) Определите вашу новую контрольную страницу, базируясь на результатах.

Метод радикального редизайна будет более приемлем для создания качественного скачка в увеличении конверсии, чем в оптимизации посредственной странички с маленьким потенциалом. Как только вы обозначили наилучший общий подход, вы готовы оптимизировать отдельные элементы на странице.

8) С помощью традиционного Variable-Specific А/Б тестирования оптимизируйте переменные для тестирования:

Заголовка
Призыва к действию (call to action)
Картинок и графики
Цветов
Конфигураций элементов страницы и т.д.

Заключительные комментарии.

Вам нужно запомнить несколько важных моментов про A/Б тестирование:

1) Даже если вы не можете провести настоящий А/Б тест (где 2 версии страницы показываются одна после другой для разделения посетителей вашего сайта), очень легко провести последовательный А/Б сплит тест.

Ключевой момент: Последовательный тест – это когда вы показываете одну версию страницы в течение некоторого периода, например – пару дней или неделю, и потом показываете другую версию в течение следующих пары дней или недели. Результаты могут быть несколько менее надежными, но все ещё могут выдать значимую информацию и показать тренды.

2) Тестирование дает вам возможность максимизировать конверсионные рейты, разрешить проблемы и опровергнуть предположения. И имейте в виду, какие возможности у вас есть даже после тестирования малюсеньких изменений на странице.

Вы даже можете заменить существующую страницу разработкой и написанием абсолютно новой версии, где практически все будет отличаться. На самом деле, как раз с помощью таких радикально изменяющих подходов вы в большинстве случаев добиваетесь взрывных улучшений.

3) Тестирование предлагает компаниям неоценимую возможность произвести на руководство компании и менеджмент сильное впечатление предложенными изменениями для улучшения.

Убедить менеджмент на основании субъективной экcпертизы - само по себе является маловероятным. Но, если у вас есть ясные и понятные результаты тестирования, процесс убеждения становится намного проще.

4) Использование последовательного тестирования значительно увеличит базу знаний вашей группы или компании. Вы многому научитесь, и вскоре сможете определить набор оптимизационных практик, которые работают наилучшим образом конкретно для вашего бизнеса.

Отсутствие тщательного тестирования оставляет вас в потемках, зависимых от гаданий во время работы над созданием ваших страниц.

5) Обеспечьте процесс тестирования ваших веб-сайтов и имейлов. В рассказе выше мы обозначили для вас правила «как начать». В дополнение, держите документ – шаблон для A/Б тестирования, который поможет вам вести процесс экспериментирования.

ABTestingTemplate.doc

Удачи!