• Время на чтение статьи:3мин

Эксперименты и AB тест

Сегодня про эксперименты и AB тест, который часто проводят маркетологи. Кстати, недавно в сервисе Яндекс Метрика стал доступен новый сервис для проведения тестирования. Пока проект находится на beta тесте, но уже сегодня вы можете им воспользоваться. 

Что такое эксперименты и AB тест?

Маркетинг это не про красивые картинки и анимацию на посадочной странице, а про статистику и математический анализ имеющихся данных. Очень часто, специалисту приходится выдвигать идеи и гипотезы, не имея достаточных сведений, на которые можно опереться. Именно поэтому, проведение экспериментов с целью проверки жизнеспособности гипотезы, имеет огромное значение. 

Метод маркетинговых исследований, когда контрольные данные одной группы (сегмент А), сравниваются с другой группой (сегмент Б), в которые вносятся изменения, и называется AБ тестированием.

4 основных принципа проведения тестирования.

При проверке гипотез, важно соблюдать четыре основных принципа.

    1. Перед началом экспериментов нужно четко обозначить цель эксперимента. Заранее определили задачу, провели тестирование, сделали выводы. Крайне важно выдержать запланированную длительность эксперимента и не вмешиваться в процесс.
    2. Нужно собрать определенный объем информации, для того чтобы результат был статистически верным. Для проверки достоверности эксперимента можно воспользоваться калькулятором, например, специальным калькулятором от Яндекса. Найти его можно по ссылке: https://yandex.ru/adv/statvalue
    3. Тестировать только один ключевой параметр. Если вы хотите проверить несколько гипотез, нужно выделить приоритетные задачи и проводить последовательные тесты. Если попытаться охватить сразу несколько различных параметров, то результаты эксперимента будут смазаны и пользы для вашего проекта не будет.
    4. Не вносить изменений в процессе. Никаких! Совсем никаких! Даже незначительных. Каждая правка, пусть даже пустячная на первый взгляд, способна нарушить чистоту эксперимента и в результате вы получите недостоверные данные.

Как тестировать гипотезы: 2 способа.

Сегодня мы рассмотрим 2 способа, как протестировать гипотезы с помощью встроенных бесплатных инструментов, доступных всем пользователям Яндекса.

AB тест в Яндекс Директе.

Этот инструмент доступен для всех рекламодателей Яндекс Директа. При создании новой кампании, можно настроить проведение экспериментов прямо в процессе настройки рекламы. Но для этого, сперва нужно создать сегменты в сервисе Яндекс Аудитории.

эксперименты и ab тест

Для создания эксперимента нужно перейти в Яндекс Аудитории и переключиться на вкладку «Эксперименты», после чего нажать на кнопку «Создать эксперимент». Важно, что заходить в сервис Аудитории нужно под тем же аккаунтом, который используется для Яндекс Метрики и Яндекс Директ.

эксперименты и ab тест

В открывшемся окне нужно заполнить все поля поочередно:

  • Название эксперимента. Рекомендуем называть максимально просто и понятно. Например, задача тестирования это сравнение эффективности рекламных кампаний на ручных настройках и на автостратегии. Так и назовем тестирование: «Сравнение ручной и автостратегии».
  • Добавить счетчик. Вы можете выбрать в выпадающем списке все счетчики, доступные на вашем аккаунте. Если вы планируете сравнить две различных посадочных страницы, с разными счетчиками Яндекс Метрики, то есть возможность добавит дополнительный счетчик.
  • Задаем сегменты. Для эксперимента мы решили разделить трафик на 2 сегмента по 50%. Сегмент А мы назовем «Ручное управление», а сегмент Б «Автостратегия».

эксперименты и ab тест

Можно разделить иначе, например 70/30 или 90/10. Все зависит от задач и целей эксперимента. Так же можно разбить на большее количество сегментов и провести ABCD тест.

После того, как сегмент создан, переходим в личный кабинет Я.Директа, создаем новую рекламную кампанию и в разделе «Дополнительные настройки» находим раздел «Эксперименты»

эксперименты и ab тест

В этом разделе вы можете настроить сегменты, ставки. И запустить рекламные кампании для тестирования гипотезы.

Примечание:

В Яндекс Директе у каждой кампании есть статистика, которая влияет на результаты. Поэтому более правильным подходом будет создание новых кампаний для чистоты эксперимента. При создании новых кампаний, вся собранная статистика обнуляется и алгоритмы начинают свое обучение заново. Чтобы упростить работу, можно существующую кампанию просто скопировать и отредактировать. Запускать кампании нужно одновременно. 

Эксперименты в Яндекс Метрике.

Сервис «Эксперименты» появился в интерфейсе Яндекс Метрики совсем недавно и сейчас он проходит открытый бета-тест.

В рамках тестирования доступно 2 бесплатных теста.

эксперименты и ab тест

Для того, чтобы начать тестирование, сперва нужно установить код на сайт.

Доступны несколько вариантов установки: через Java-script,Api или Google Tag Manager

эксперименты и ab тест

Отдельно стоит отметить, что если у вас на сайте настроен CSP ( защита контента), то нужно внести корректировки в правила.

эксперименты и ab тест

После того, как код установлен, можно приступать к экспериментам.

Пробежимся по основным настойкам. В целом, интерфейс интуитивно понятен и настройка не вызывает вопросов.

эксперименты и ab тест

Задайте название эксперимента, так же есть возможность добавить расширенное описание. Мы рекомендуем указывать максимально понятное название для простоты дальнейшей работы.

эксперименты и ab тест

Настройте условия эксперимента. Можно установить время проведения эксперимента, долю аудитории, указать регионы и платформы, настроить фильтры.

эксперименты и ab тест

Отдельно стоит отметить пользовательские параметры, которые позволяют настроить максимально гибко.

эксперименты и ab тест

Настройка метрики позволяет выбрать и привязать все значимые цели из настроек счетчика.

эксперименты и ab тест

Одна из наиболее интересных настроек. Вы можете провести эксперимент с помощью ссылок для редиректа, флагов в коде и визуальном редакторе.

Например, вы хотите протестировать, как название кнопки влияет на конверсию. Для проверки, нужно выбрать пункт «Визуальный редактор» и указать ссылку на страницу, которую планируется менять.

эксперименты и ab тест

После этого у вас появляется возможность внести изменения в тестовый вариант. Для этого нужно нажать на кнопку «Редактировать» и в новой открывшейся вкладке внести правки.

На странице доступен простой и понятный визуальный редактор. Для того, чтобы внести правки нужно просто навести курсор мышки на нужный элемент, например, на кнопку, и изменить в редакторе внести правки.

эксперименты и ab тест

Доступен отдельно редактор html и css. Если вы хотите просто изменить текст, то удобнее изменить его в html редакторе. Для этого просто нужно вбить новый текст кнопки. А во вкладке css можно изменить размер и цвет кнопки. После чего нужно сохранить данные.

эксперименты и ab тест

Например, мы легко изменили текст, размер шрифта, цвет кнопки без вмешательства в код сайта.

Заключение.

Эксперименты и АБ тест это важный инструмент для работы маркетолога, который помогает увеличить конверсию сайта и эффективность работы рекламных кампаний, сократить бюджет. Но нужно учитывать, что для тестов требуется точно прописанная гипотеза, время и бюджет для проверки. Так же помните, что отрицательный результат это тоже результат, пусть даже оплаченный из рекламного бюджета. 

Понравилась статья?

Еще много полезной информации у нас в телеграмм-канале. Подпишитесь, чтобы не потерять

Подписаться на наш телеграмм-канал
Поделиться статьей: