В феврале 2020 года в Яндекс.Директе появился новый инструмент для сплит-тестирования рекламы. С его помощью можно сравнивать различные аспекты рекламных кампаний, чтобы в реальном времени определить, какие из них более эффективны для продвижения бизнеса.

Цели и задачи «Экспериментов»

A/B тестирование или сплит тестирование — это один из лучших способов узнать, как реклама влияет на продвижение продукта. Целевой аудитории демонстрируют разные варианты одного из аспектов рекламы, а затем сопоставляют статистические показатели и на основании этого выбирают наиболее эффективный вариант.

Долгое время не было других способов A/B-тестинга, кроме поочередного запуска рекламы и последующего сбора статистики. Но теперь есть возможность в реальном времени оценить результаты исследования. Инструмент «Эксперименты» в Яндекс.Директе способен разделить аудиторию на несколько секций (сегментов), не пересекающихся между собой. Рекламодатель сам выбирает как размер секций, так и долю трафика на каждую из них. Например, кампания может быть направлена на экспериментальную секцию в 30% аудитории, с приоритетом на людей, пользующихся стационарными компьютерами, 30-40 лет. Тогда рекламу увидит 30% именно «компьютерной» взрослой аудитории.

У этого способа много преимуществ:

  • можно настроить таргетинг на любую пользовательскую или схожую аудиторию;
  • сбор статистики даже в таких областях, как настройки, типы рекламных кампаний, медиапланы;
  • возможность в реальном времени отслеживать результаты тестирования, минуя этап сбора статистики.

Способы использования «Экспериментов»

Сравнение разных методов продвижения оффера — это далеко не единственное направление использования Экспериментов.

Яндекс.Директ позволяет использовать инструмент для самых разных аспектов продвижения:

  1. Сопоставление поисковой семантики для определения максимально эффективной. Например, в вашей кампании собраны среднечастотные и высокочастотные ключевые фразы, но такой метод продвижения обходится для вас слишком дорого. Поэтому вы решаете изменить структуру семантического ядра кампании и вписать вместо высокочастотных ключей низкочастотные.
  2. Сравнение ручного управления с автоматическими стратегиями. Недавно Яндекс запустил стратегию «Оптимизация конверсий», которая добавляет новую модель оплаты — за конверсии. Однако прежде чем запускать автоматизированное управление, нужно убедиться, что оно не обойдётся вам дороже ручного.
  3. Выявление элементов кампании, таких как текст или заголовок, с высокими показателями CTR и конверсией, но низкой стоимостью. Например, рекламщик взял на продвижение рекламу, которую настроил сам клиент. Он может воспользоваться инструментом, чтобы выявить неконкретные и размытые формулировки типа «всегда отличное качество и низкие цены» и заменить их.
  4. Проверить эффективность различных подходов к формированию объявлений, подбора минус-слов, группировки и структурирования поисковых запросов. Ключи в рекламе расположены исходя из семантического сходства, однако цена клика и заявки выходит довольно высокая. Поэтому можно использовать стратегию SKAG (Single Keyword Ad Group), при которой в одной группе объявлений располагается только один ключ в 3-х типах соответствия.
  5. Сравнить показатели количества конверсий, которые приносит та или иная стратегия. Например, если вы хотите добавить в текстовую кампанию графические элементы, вы можете оценить, сколько выгоды приносит статичное изображение, а сколько видеофайл.

Как запустить эксперимент в Яндекс.Директе

В качестве примера мы будем использовать рекламную кампанию юридической фирмы, специализирующейся на помощи мигрантам, планирующим трудоустроиться и жить в России.

Эксперимент включает в себя три этапа: подготовительный, тестировочный и итоговый.

В рамках подготовительного этапа необходимо проверить соблюдение всех условий и корректность действующих настроек.

Чтобы получить полную и репрезентативную информацию, нам нужно иметь:

  1. Конкретную цель (гипотезу), которая будет проверена в ходе эксперимента.
  2. Установленные на ресурсах тестируемой организации счетчики Яндекс.Метрики.
  3. Настроенные целевые действия в Яндекс.Метрике или Электронной коммерции (для онлайн-магазинов). Данный пункт опционален и может быть проигнорирован, но обычно проводить эксперимент без оценки конверсий просто бессмысленно.

Если второй и третий пункты — дело чисто техническое, то первый зависит от конкретного кейса. В нашем случае речь идёт о проекте юридической фирмы, которая использовала одни и те же заголовки во всех объявлениях, при этом ключи в них входили не полностью.

Это означает, что заголовки не были успешно адаптированы под поисковые запросы, а следовательно кампания имела:

  • низкий показатель CTR;
  • высокую стоимость клика и цели;
  • невысокий коэффициент и кол-во конверсий.

Начало эксперимента

Мы используем два сервиса от Яндекс: «Аудитории» и «Директ». Первый необходим для настраивания сегментов, а второй — для соединения кампании с нашим экспериментом. Сам эксперимент оформляется в «Аудиториях»:

Перейдите на страницу audience.yandex.

  1. Откройте вкладку «Эксперименты».
  2. Нажмите на кнопку «Создать эксперимент».
  3. В новом окне необходимо заполнить все пустые поля:
  • указать название эксперимента;
  • ввести номер счетчика, к которому подключен проект (не стоит забывать, что счетчиков может быть больше одного);
  • указать размер секций и долю трафика в процентах, так, чтобы суммарно было 100%;
  • проименовать каждый сегмент, чтобы в дальнейшем не возникло путаницы при составлении статистики.

Настройка эксперимента (пошагово)

  1. Сначала нужно сделать копии нашего проекта — по одной на каждый сегмент. Именно между этими копиями и оригинальной кампанией будут вестись сравнения. Разумеется, все кампании должны быть остановлены.
  2. Все произведенные копии настраиваются вручную. Оригинальная остаётся как есть, а в копиях меняются те конкретные параметры, которые интересны рекламодателю. В нашем случае это заголовки объявлений — мы заменяем их на адаптированные варианты с полным вхождением ключевиков. Другие параметры не трогаем.
  3. Подключаем ко всем кампаниями счетчики Яндекс Метрики, указанные при настройке. После этого эксперимент будет доступен в соответствующем блоке раздела «Дополнительные параметры».
  4. Наконец, активируем сами кампании. Для этого нужно нажать на кнопку «Таргетинг по сегментам» и выбрать необходимый эксперимент и сегмент, на который кампания рассчитана.
  5. Оригинальная компания приостанавливается и в то же время запускаются копии. Именно с этого момента стартует эксперимент. Пользователю остаётся дождаться получения необходимой статистики. Хотя вывести результаты можно в любое время, лучше подождать минимум полмесяца, чтобы полученные данные были репрезентативными.

Получение и анализ результатов эксперимента

В одно время с выходом «Экспериментов» Яндекс открыл пользователям новый вид отчетов Я.Метрики. Их почти одновременное появление, разумеется, было не случайным — именно через эти отчеты предполагается анализировать результаты экспериментов. Получить результаты можно в разделе «Отчеты», подразделе «Стандартные», пункте «Источники» → «Директ, Эксперименты»..

Более быстрый способ получить доступ к отчетам — перейти к инструменту, кликнув по кнопке «Результаты» напротив соответствующего эксперимента в Я.Аудиториях.

Чтобы отсортировать данные из отчета и отфильтровать ненужную информацию, создайте в отчете отдельную секцию с исследуемыми кампаниями. Так вы автоматически избавитесь от ненужных визитов, то есть любых посещений, не связанных с конкретной рекламной кампанией.

В спецотчете доступно большое количество показателей, по которым можно сопоставить разные кампании: сравнение по количеству просмотров, посетителей, целевых посещений, конверсий, достижений цели и так далее.

Как создать отчет (пошаговая инструкция)

Зайдите на Метрику и откройте в соответствующем списке необходимый эксперимент.

Найдите созданный вами ранее сегмент с исследуемыми кампаниями.

Нажмите на кнопку «Режим сравнения» снизу графика визитов. Откроется окно с выбором контрольной группы — именно с ней мы будем сравнивать полученные результаты.

Добавьте в отчет метрики, по которым нужно сравнить кампании. Также можно добавить ранее настроенные цели.

Если данных достаточно для того, чтобы делать выводы, и выбранные метрики доступны для сравнения, система подсветит показатели тестируемой кампании цветами:

  • Красный или зеленый — если они значимо хуже или лучше показателей контрольной группы.
  • Серым — если отличие между сравниваемыми кампаниями несущественно.

Когда доступных для сравнения показателей недостаточно (как в нашем случае — помимо конверсии нам нужны CTR, стоимость клика и цена цели), потребуются данные из Мастера Отчетов в Яндекс.Директе. Мы свели их с данными из метрики вот в такую табличку:

Как видите, в нашем случае эксперимент оказался удачным:mark

  • CTR увеличился на 53 %;
  • Стоимость клика изменилась незначительно, зато цена цели снизилась на 32 %;
  • Коэффициент конверсии оказался на 41 % выше, и мы получили в 2 раза больше конверсий.

Также удобно использовать Калькулятор достоверности А/Б-тестирования Яндекса. Туда можно внести информацию о расходах, количестве конверсий и кликов, чтобы сравнить CPA, а также настроить целевой уровень значимости результатов эксперимента (p-value).

Калькулятор также выделяет цветом значимые отличия и дает ответ на вопрос — стоит ли внедрять тестируемые изменения

В нашем примере мы получили положительный ответ, остановили эксперимент и запустили новую кампанию на 100 % трафика.

Как завершить эксперимент

Чтобы остановить эксперимент:

  • Одновременно остановите все экспериментальные кампании.
  • Отвяжите эксперимент от той, которую вы хотите запустить в качестве основной. Для этого снимите галочку в «Эксперименты» раздела «Дополнительные параметры.
  • Проверьте настройки таргетинга и запустите успешную кампанию.

Как отредактировать и удалить эксперимент в Яндекс.Директе

Чтобы удалить эксперимент, сначала его нужно остановить и отвязать от него все рекламные кампании. После создания эксперимента можно:

  • редактировать названия эксперимента и сегментов;
  • добавлять новые счетчики Метрики.

Удалить добавленные счетчики не получится. Также нельзя удалять и создавать сегменты. Если вы запустили эксперимент и поняли, что нужно внести такие изменения, придется завершать его и создавать заново.

Три важные вещи напоследок

  • Нельзя запускать новую кампанию в эксперимент со старой. Старая уже работала какое-то время. На ней накопилась статистика, на основе которой Яндекс.Директ ее оптимизировал и позиционирует по качеству объявлений, а в новых кампаниях используется прогнозный CTR. Нужно, чтобы тестируемые кампании были в равных условиях, иначе будет погрешность
  • Тестировать лучше что-то одно. Или концепцию офферов, или ключи в заголовках или автостратегию с оплатой за конверсии — но не все вместе. Иначе будет непонятно что именно повлияло на изменения.
  • Новинки и рискованные гипотезы лучше тестировать на небольшую долю аудитории. Сомневаетесь как сработает автотаргетинг в вашей тематике? Запустите его на 20% аудитории и оцените результат.