Главная Настройка А/Б теста

НАСТРОЙКА А/Б-ТЕСТА

Сервис А/Б тестов работает только с текстово-графическими объявлениями. Для добавления нового А/Б теста перейдите в сервис А/Б тесты и нажмите кнопку "Добавить", после чего откроется список по 4 вариантам А/Б тестов, которые можно настроить:

  • Для объявлений +
  • Для объявлений
  • Для групп
  • Для кампаний

 

Рассмотрим вариант Для объявлений +, как самый распространенный, простой и рекомендуемый к применению. Остальные варианты описаны в самом низу данного материала.

 

А/Б-ТЕСТ "ДЛЯ ОБЪЯВЛЕНИЙ +"

А/Б тест Для объявлений + запускает в тестирование все объявления внутри каждой группы выбранных рекламных кампаний. Например, если у Вас имеется группа, в которой 10 объявлений, то Директпро в начале остановит все объявления, если они запущены, затем запускает первое, ждет, пока оно наберет заданное кол-во кликов, затем останавливает его и запускает второе, оставляя его работать до тех пор, пока и оно не наберет заданное кол-во кликов, затем останавливает его и запускает третье, и так далее, пока последнее, десятое объявление не наберет заданное количество кликов. По такой схеме будут тестироваться между собой все объявления в каждой группе в выбранной кампании.

Кликнете на поле вверху настроек А/Б теста и выберете кампании, для каждой группы которых будет запущен А/Б тест объявлений:

ПАРАМЕТРЫ ТЕСТИРОВАНИЯ

В параметрах ниже нужно задать условия успешного завершения теста и условия прерывания теста. Если мы хотим протестировать объявления, например, на 300 кликов, то набор 300 кликов - это условие успешного завершения теста. Однако, если мы провели несколько тестов, выявили лидера, скажем, с конверсией в 5%, и не хотим в последующих тестах время (и деньги) тратить на тест объявлений, которые будут давать конверсию ниже, то можно задать и условие прерывания теста, а именно, конверсию ниже 5% при, например, 100 кликах. Вот так выглядят подобные настройки:

Обратите внимание на блок, выделенный на скриншоте красным. Первая строчка отмечена галочкой, это означает, что задано условие успешного завершения теста, его следует задавать только одно. В качестве данного условия можно задавать набор определенного кол-ва кликов, конверсий, или, например, расхода - задавайте как удобнее.

Вторая и третья строчки - это условия прерывания теста, их следует отмечать крестиком. Данный тип условий уже может состоять из нескольких составных условий, при этом, дополнительные условия прерывания теста задаются по логике "И", то есть, они сработают только при их одновременном выполнении.

 

  • Статистическая достоверность

 

Почему в данном примере в условиях прерывания присутствует условие на набор более 100 кликов? Все просто: это условие обеспечивает статистическую достоверность. Смотрите, если мы просто зададим условие прерывания теста без кол-ва кликов, то это условие сработает практически сразу, при первом же клике: конверсия будет 0%, что менее 5. Поэтому, необходимо прикинуть при каком количестве кликов показатель конверсии уже будет достаточно достоверным, и задать его в условиях прерывания теста. В данном случае до 100 кликов мы объявление тестируем с любым показателем конверсии (как бы даем шанс объявлению раскрыться и показать на что оно способно), но дальше - только в том случае, если конверсия не менее 5%.

 

  • Много вариантов настроек для прерывания теста

 

Если условие успешного завершения теста может быть только одно, то условий прерывания теста может быть несколько. Например, в примере выше, мы задали одно условие прерывания: если на момент набора 100 кликов конверсия будет меньше 5%, то объявление дальше не тестируем. Однако, мы можем задать и второе условие прерывания по логике "ИЛИ", например: если на момент набора 20 кликов не будет ни одной конверсии. Задается второе и последующие условия прерывания путем добавления второй вкладки в параметрах:

 

Итого мы получаем две вкладки с условиями. На второй задаем то же условие успешного завершения, что и на первой, а условие прерывания уже другое:

Примерно по такой логике и следует задавать настройки для любого вида А/Б тестов.

 

  • Периодичность проверки. Это периодичность, с которой Директпро будет отправлять запросы к Вашим кампаниям и проверять - не выполнилось ли условие успешного завершения теста или условия прерывания теста. В большинстве ситуаций можно ставить 1 час, однако если у вас перерасход апи баллов на аккаунте, то лучше увеличить периодичность проверки.

 

  • Email-адреса для уведомлений. Когда все объявления завершат тестирование, Директпро уведомит Вас об этом на заданный E-mail. Иногда письма попадают в спам, если такое произошло, то отметьте в почтовом сервисе рассылку от сервиса, как "НЕ СПАМ", чтобы всегда получать уведомления во "Входящие".

 

КОГДА А/Б ТЕСТ ЗАВЕРШИТСЯ

Когда по всем объявлениям будет выполнено либо условие успешного завершения теста, либо условие прерывания, Вы получите извещение о завершении А/Б теста на E-mail. В письме будет ссылка на итоговый отчет о том, как отработало каждое объявление для выбора объявления-лидера. Пример отчета:

Лучшие показатели подсвечиваются зеленым, чтобы Вам было удобнее выбрать объявление-лидер по эффективности. Не всегда самое кликабельное объявление будет и самым эффективным. В примере из скриншота объявление с наивысшим CTR дало 390 руб. стоимость конверсии в то время как объявление с более спокойной картинкой, которая не так бросается в глаза, показало стоимость конверсии 237 руб. Так же, прямо на странице данного отчета можно сразу посмотреть статистику по разным срезам: полу, возрасту, ключевым фразам, типу устройств, и т.д., чтобы сделать вывод о том, нет ли неэффективного расхода средств на один из данных сегментов.

Сразу после добавления нового теста, в разделе по А/Б тестам отобразится рекламная кампания, для групп которых был настроен тест объявлений с удобным просмотром сводной статистики по всем группам. Смотреть подробнее.

 

ДРУГИЕ ВАРИАНТЫ НАСТРОЕК А/Б-ТЕСТОВ

  • Для объявлений. Отличается от рассмотренного выше варианта тем, что здесь нужно выбрать отдельные группы, для объявлений которых будет запущен А/Б тест. Обратите внимание, в варианте Для объявлений+, мы выбирали кампанию, для всех групп которой нужно настроить А/Б тест, а в данном варианте мы можем выбрать отдельные группы. Этот вариант следует использовать в частных случаях, когда есть кампания, в которой не для каждой группы нужно настроить А/Б тест, а только для отдельных.

 

  • Для групп. Здесь мы выбираем группы, которые будут тестироваться между собой. Допустим, выбрали 5 групп, Директпро запустит* первую, дождется, пока она наберет заданное кол-во кликов, остановит ее, запустит вторую группу и так далее, пока не оттестирует все.

* Имеется ввиду запустит все объявления в данной группе работать одновременно. В данном варианте теста тестируются не объявления внутри групп, а как раз сами группы, не важно сколько в них объявлений, хоть по одному, хоть по 10, будут запускаться все. При этом, важно помнить, что Яндекс всегда отдает предпочтение объявлению с наивысшим CTR.

 

  • Для кампаний. Работает абсолютно так же, как и вариант "Для групп", только выбираем кампании, и запускаются/останавливаются кампании путем запуска/остановки всех групп, которые находятся в выбранных кампаниях.