Эксперименты и AB тест

Сегодня про эксперименты и AB тест, который часто проводят маркетологи. Кстати, недавно в сервисе Яндекс Метрика стал доступен новый сервис для проведения тестирования. Пока проект находится на beta тесте, но уже сегодня вы можете им воспользоваться. 

Что такое эксперименты и AB тест?

Маркетинг это не про красивые картинки и анимацию на посадочной странице, а про статистику и математический анализ имеющихся данных. Очень часто, специалисту приходится выдвигать идеи и гипотезы, не имея достаточных сведений, на которые можно опереться. Именно поэтому, проведение экспериментов с целью проверки жизнеспособности гипотезы, имеет огромное значение. 

Метод маркетинговых исследований, когда контрольные данные одной группы (сегмент А), сравниваются с другой группой (сегмент Б), в которые вносятся изменения, и называется AБ тестированием.

4 основных принципа проведения тестирования.

При проверке гипотез, важно соблюдать четыре основных принципа.

1. 1. Перед началом экспериментов нужно четко обозначить цель эксперимента. Заранее определили задачу, провели тестирование, сделали выводы. Крайне важно выдержать запланированную длительность эксперимента и не вмешиваться в процесс.
   2. Нужно собрать определенный объем информации, для того чтобы результат был статистически верным. Для проверки достоверности эксперимента можно воспользоваться калькулятором, например, специальным калькулятором от Яндекса. Найти его можно по ссылке: https://yandex.ru/adv/statvalue
   3. Тестировать только один ключевой параметр. Если вы хотите проверить несколько гипотез, нужно выделить приоритетные задачи и проводить последовательные тесты. Если попытаться охватить сразу несколько различных параметров, то результаты эксперимента будут смазаны и пользы для вашего проекта не будет.
   4. Не вносить изменений в процессе. Никаких! Совсем никаких! Даже незначительных. Каждая правка, пусть даже пустячная на первый взгляд, способна нарушить чистоту эксперимента и в результате вы получите недостоверные данные.

Как тестировать гипотезы: 2 способа.

Сегодня мы рассмотрим 2 способа, как протестировать гипотезы с помощью встроенных бесплатных инструментов, доступных всем пользователям Яндекса.

AB тест в Яндекс Директе.

Этот инструмент доступен для всех рекламодателей Яндекс Директа. При создании новой кампании, можно настроить проведение экспериментов прямо в процессе настройки рекламы. Но для этого, сперва нужно создать сегменты в сервисе Яндекс Аудитории.

Для создания эксперимента нужно перейти в Яндекс Аудитории и переключиться на вкладку «Эксперименты», после чего нажать на кнопку «Создать эксперимент». Важно, что заходить в сервис Аудитории нужно под тем же аккаунтом, который используется для Яндекс Метрики и Яндекс Директ.

В открывшемся окне нужно заполнить все поля поочередно:

• Название эксперимента. Рекомендуем называть максимально просто и понятно. Например, задача тестирования это сравнение эффективности рекламных кампаний на ручных настройках и на автостратегии. Так и назовем тестирование: «Сравнение ручной и автостратегии».
• Добавить счетчик. Вы можете выбрать в выпадающем списке все счетчики, доступные на вашем аккаунте. Если вы планируете сравнить две различных посадочных страницы, с разными счетчиками Яндекс Метрики, то есть возможность добавит дополнительный счетчик.
• Задаем сегменты. Для эксперимента мы решили разделить трафик на 2 сегмента по 50%. Сегмент А мы назовем «Ручное управление», а сегмент Б «Автостратегия».

Можно разделить иначе, например 70/30 или 90/10. Все зависит от задач и целей эксперимента. Так же можно разбить на большее количество сегментов и провести ABCD тест.

После того, как сегмент создан, переходим в личный кабинет Я.Директа, создаем новую рекламную кампанию и в разделе «Дополнительные настройки» находим раздел «Эксперименты»

В этом разделе вы можете настроить сегменты, ставки. И запустить рекламные кампании для тестирования гипотезы.

Примечание:

В Яндекс Директе у каждой кампании есть статистика, которая влияет на результаты. Поэтому более правильным подходом будет создание новых кампаний для чистоты эксперимента. При создании новых кампаний, вся собранная статистика обнуляется и алгоритмы начинают свое обучение заново. Чтобы упростить работу, можно существующую кампанию просто скопировать и отредактировать. Запускать кампании нужно одновременно. 

Эксперименты в Яндекс Метрике.

Сервис «Эксперименты» появился в интерфейсе Яндекс Метрики совсем недавно и сейчас он проходит открытый бета-тест.

В рамках тестирования доступно 2 бесплатных теста.

Для того, чтобы начать тестирование, сперва нужно установить код на сайт.

Доступны несколько вариантов установки: через Java-script,Api или Google Tag Manager

Отдельно стоит отметить, что если у вас на сайте настроен CSP ( защита контента), то нужно внести корректировки в правила.

После того, как код установлен, можно приступать к экспериментам.

Пробежимся по основным настойкам. В целом, интерфейс интуитивно понятен и настройка не вызывает вопросов.

Задайте название эксперимента, так же есть возможность добавить расширенное описание. Мы рекомендуем указывать максимально понятное название для простоты дальнейшей работы.

Настройте условия эксперимента. Можно установить время проведения эксперимента, долю аудитории, указать регионы и платформы, настроить фильтры.

Отдельно стоит отметить пользовательские параметры, которые позволяют настроить максимально гибко.

Настройка метрики позволяет выбрать и привязать все значимые цели из настроек счетчика.

Одна из наиболее интересных настроек. Вы можете провести эксперимент с помощью ссылок для редиректа, флагов в коде и визуальном редакторе.

Например, вы хотите протестировать, как название кнопки влияет на конверсию. Для проверки, нужно выбрать пункт «Визуальный редактор» и указать ссылку на страницу, которую планируется менять.

После этого у вас появляется возможность внести изменения в тестовый вариант. Для этого нужно нажать на кнопку «Редактировать» и в новой открывшейся вкладке внести правки.

На странице доступен простой и понятный визуальный редактор. Для того, чтобы внести правки нужно просто навести курсор мышки на нужный элемент, например, на кнопку, и изменить в редакторе внести правки.

Доступен отдельно редактор html и css. Если вы хотите просто изменить текст, то удобнее изменить его в html редакторе. Для этого просто нужно вбить новый текст кнопки. А во вкладке css можно изменить размер и цвет кнопки. После чего нужно сохранить данные.

Например, мы легко изменили текст, размер шрифта, цвет кнопки без вмешательства в код сайта.

Заключение.

Эксперименты и АБ тест это важный инструмент для работы маркетолога, который помогает увеличить конверсию сайта и эффективность работы рекламных кампаний, сократить бюджет. Но нужно учитывать, что для тестов требуется точно прописанная гипотеза, время и бюджет для проверки. Так же помните, что отрицательный результат это тоже результат, пусть даже оплаченный из рекламного бюджета.