Один из лучших способов определить, что работает, а что нет — это split-тестирование.
И то, что мы сегодня сделаем — это посмотрим на него более критически. А также мы развенчаем некоторые из самых больших мифов об этой очень полезной практике.
Есть 7 мифов о split-тестировании, о которых вы могли слышать.
Миф #1. Split-тестирование и оптимизация — это одно и то же
Одна из самых известных тактик оптимизации — это split-тестирование. Но для того, чтобы оно сегодня стало массовым, потребовалось несколько лет.
Рост его популярности связан с двумя привлекательными вещами:
- Очень низкий барьер для входа. (Низкая стоимость и простая техническая реализация).
- Бесчисленные кейсы, показывающие рост конверсии на 300%.
Тестирование стало узнаваемой практикой. И это неудивительно — кто не хочет 300% роста после split-теста?!
Но, к сожалению, именно возросшая популярность привела к ошибочному сокращению терминов.
Так, например, слишком многие маркетологи связывают split-тестирование с оптимизацией коэффициента конверсии (CRO). И это является ошибкой.
Проще говоря…
CRO — это процесс, в котором для улучшения пользовательского опыта и получения большего числа конверсий с вашего веб-сайта используются:
- анализ данных;
- исследования.
Split-тестирование — это инструмент CRO, используемый для проверки ваших стратегий оптимизации.
Вывод: split-тестирование — лишь одна из многих тактик, используемых при оптимизации web-сайта.
Миф #2. Вы должны запускать только итерационные тесты
Итерационное тестирование — это полезная методология split-тестирования. Но это не единственный способ запускать тесты.
Суть итерационного тестирования — это когда каждый новый тест рождается из предыдущих выводов. Как правило, при тестах вносят небольшие изменения в web-страницу. А затем смотрят что лучше сработало и делают еще одно небольшое изменение.
Но это не должно быть вашим единственным подходом к тестированию.
Схема выше упрощает идею итерационного тестирования, но делает некоторые нереалистичные выводы.
Во-первых, кажется, что каждый тест позволит вам что-то улучшить.
Хотя на самом деле многие тесты могут быть ровными. Или они могут не дать результата. А если они его не дадут, то ваш web-сайт не станет более успешным!
Одна из основных проблем этого тестирования состоит в том, что оно зависит от изменений меньшего масштаба. Чаще всего небольшие изменения в элементах влекут за собой небольшие изменения в результатах.
Конечно, существует множество кейсов, когда цвет кнопки увеличивал клики на 400%. (Например, изменили цвет кнопки Call-to-action). Но обычно это были следующие типы результатов:
- Невозможно воспроизвести.
- Признак того, что что-то не работает в вашем процессе или технологии тестирования.
Поэтому при оптимизации применяйте смешанный подход тестирования. То есть используйте инновационные и итеративные тесты одновременно.
И когда это уместно, то можно даже радикально изменить дизайн своей страницы.
Вывод: иногда страница просто не работает. И все, что вам нужно — это просто удалить ее и затем начать все сначала. И если выиграет новый вариант, то не нужно прекращать оптимизацию. Проводите итерационные тесты и дальше, чтобы заработать больше денег.
Миф #3. Вы должны проверить всё
Это один из самых худших мифов.
Далеко не всё должно быть проверено!
Для каждого запущенного split-теста существует множество других тестов, которые вы могли бы выполнить.
Поэтому вы должны убедиться, что вы тестируете:
- страницы, которые принесут вам доход;
- элементы, которые имеют значение!
Есть два типа страниц, которые вы никогда не должны тестировать:
- Сломанная страница. И её нужно просто починить.
- Страница, не влияющая на доход. А если она и влияет, — то не существенно.
Да, многие метрики кажутся нам, ох, как интересными. Но в них легко потеряться.
Поэтому нужно помнить, что здесь важны не метрики, а прибыль.
Вывод: если ваш split-тест не связан прибылью, то вам не стоит его проводить.
Миф #4. Каждый может / должен проводить split-тест
Вот тут я рискну и скажу это …
Если у вас есть проблемы с трафиком, то вам не нужно проводить split-тестирование.
Если вы не можете получить хотя бы 100 конверсий для каждого варианта, то не запускайте тест. Но если все же вы его запустите, то будьте очень осторожны с обработкой данных. Потому что они могут быть неверны.
Итак, выше мы уже определили, что split-тестирование и CRO — это не одно и то же. Но вы все равно можете оптимизировать свой web-сайт с низким трафиком.
Просто используйте для этого другие методы проверки. Например:
- Качественная информация. Это информация, полученная из неаналитических источников. Например, таких как тепловые карты, опросы пользователей или аватар клиента.
- Аватар клиента. Это собирательный образ вашего идеального клиента. Обычно нужны несколько аватаров, чтобы учесть разные типы клиентов.
- Персонализация в реальном времени. Это тип сегментации пользователей, который динамически показывает определенный контент для этого сегмента пользователей.
- Последовательное тестирование. Это тип теста, где сравниваются результаты двух разных дат. Он часто не приветствуется. Но вы поймете что работает для сайтов с ограниченным трафиком. Просто используйте его разумно.
Вывод: тесты с маленьким размером выборки тратят время и деньги на промежуточную оптимизацию. Но она, скорее всего, даст вам не точную информацию.
Миф #5. Результаты тестов останутся неизменными
Результаты тестирования — это моментальный срез проведения теста за конкретное временя. Есть различные факторы, которые могут привести к изменению ваших данных о конверсиях в ближайшие месяцы. Причем самым важным фактором является время.
Так, например, сезонность всегда будет влиять на коэффициент конверсии (CR). И тест, проведенный в ноябре, даст совсем другие результаты, чем тот же тест в марте.
Почему?
Потому что в эти два периода времени намерения ваших посетителей сильно различаются!
Каждый раз, когда вы что-то меняете, то время от времени вам нужно отслеживать CR.
И делайте это по двум причинам:
- так вы увидите мнимые подъемы;
- вы найдёте больше возможностей для оптимизации.
Мнимый подъем — это когда тест показывает какие-то отличые результаты. Но затем они не оправдываются.
Обычно это происходит из-за ложного срабатывания. Это может быть вызвано:
- малым размером выборки;
- проблемой с тестовой шкалой;
- не качественными показателями.
Если вы рано поймаете мнимый подъем, то можете просто спасти свою работу.
Потому что что может быть более хуже, чем услышать, что продаж станет больше на 15%, а деньги так и не поступят?
А когда вы следите за этими страницами, то вы идете на шаг впереди всех.
Но не только время может ухудшить конверсию. Так, например, на нее также может повлиять:
- изменение источника трафика. (Например, у вас был платный трафик, а затем он стал органический);
- привлекательность оффера. (Ваш offer мог устареть / стать не актуальным.);
- смена парадигмы дизайна. (Вы решили кардинально изменить дизайн.)
И это лишь некоторые из факторов. Но они влияют на то, у какой страницы конверсия будет лучше.
Наблюдая за этими страницами, вы сможете понять почему падают конверсии. А затем для того, чтобы исправить ситуацию, просто начните новые тесты.
Вывод: из-за этой нестабильности вы не должны брать результаты своих тестов и на их основе делать прогнозы на целый год.
Миф #6. Split-тестирование исправит ужасный CR
Вот в чем дело…
Split-тестирование — это всего лишь инструмент проверки. И ничего больше.
Ваш ужасный CR, скорее всего, связан с другими проблемами. И split-тестирование поможет вам понять, что сломано.
Вы никогда не можете сделать тестовую страницу конверсионной машиной.
Вам просто нужно изучить и понять, что вызывает плохую конверсию. А затем найти решение. Решение исходит из исследования, а не из теста.
А также нужно отметить, что вы также не можете просто оптимизировать страницу, чтобы она показала лучшую конверсию.
В основе ваших конверсий лежит ваш offer и его привлекательность для вашего рынка.
Вывод: никакие CRO не исправят сайт с неработающим оффером.
Миф #7. Испытание завершено, когда так говорит моя программа
Поскольку технические инструменты настолько просты в использовании, то это самый страшный миф из всех.
Результаты тестирования могут лгать..
Во время тестирования вы получаете некоторые цифры. Но это просто цифры в вакууме. Ваша работа — помещать эти цифры в контекст!
Вот несколько способов убедиться, что вас не обманывают непримененные статистические данные:
- Стремитесь к ~ 100 конверсиям для каждого варианта.
- Всегда определяйте необходимый размер выборки. Это поможет вам запланировать тест.
- ВСЕГДА завершайте неделю (или еще лучше цикл покупок). Если ваш тест должен стать “достоверным” через 10 дней, обязательно запустите тест в течение 14 дней, чтобы учесть ежедневные колебания.
- Не вызывайте тест только потому, что вам велел ваш техник! На начальных этапах тестирования всегда существует большая волатильность. И ваша программа может назвать победителя, потому что сама процентная разница настолько велика, что кажется значительной.
- Не добавляйте и не удаляйте в ходе тестирования какие-либо варианты. Для этого вам нужно будет перезапустить тест.
Вывод: программы сообщают только цифры — вам нужно смотреть на них в контексте.
Существует множество мифов о split-тестировании. И, несмотря на разные заблуждения, split-тестирование по-прежнему остается одним из самых мощных инструментов.
В конечном итоге вы должны понимать, что роль split-тестирования заключается в проверке ваших усилий по оптимизации кампаний с достаточным размером выборки — вот и все!
(Примечание. О том, как зарабатывать выстраивая взаимоотношения с потенциальными клиентами, создавая доверие, принося им пользу, автоматизируя воронку продаж и создавая неотразимый offer, вы можете узнать здесь.)