A/B-тест в Google Ads: как настроить эксперимент и читать результат

A/B-тест в Google Ads звучит просто: два варианта работают друг против друга, лучший побеждает. На практике от двух вещей зависит, можно ли доверять результату: каким инструментом вы тестируете и набирается ли достаточно данных, прежде чем вы делаете вывод. Ниже три инструмента, которые для этого есть в Google Ads, честный расчёт нужного объёма данных и три эксперимента, с которых я бы начал. Названия пунктов меню я даю по английскому интерфейсу, в немецком эксперименты называются Tests.

1. A/B-тест в Google Ads: три инструмента для трёх вопросов

Эксперименты находятся в меню Campaigns в разделе Experiments. Там два из трёх инструментов. Третий путь классический: два объявления в одной группе объявлений.

Пользовательский эксперимент: кампания против своей копии

По данным Google, пользовательский эксперимент — это копия существующей кампании с изменениями, которая работает параллельно с оригиналом. Часть трафика и бюджета уходит в эксперимент.

• Настройка: Campaigns → Experiments → в таблице «All Experiments» кнопка с плюсом → Custom.
• Типы кампаний: поисковые, медийные, видео и кампании для отелей. Для кампаний в приложениях и торговых кампаний такого эксперимента нет.
• Распределение: вы задаёте, какой процент бюджета уходит в эксперимент. Google рекомендует 50 на 50 для чистого сравнения. Для поисковых кампаний вы также выбираете распределение по cookie, которое Google рекомендует, потому что каждый пользователь всегда видит одну и ту же версию, или по поисковым запросам: так данные набираются быстрее, но один человек может увидеть обе версии.
• Показатели успеха: до двух целей конверсий, которые выделяются в отчёте.
• Завершение: если результат устраивает, вы переносите изменения в исходную кампанию или создаёте из эксперимента новую кампанию.

Этот инструмент нужен для всего, что происходит на уровне кампании: стратегия ставок, типы соответствия ключевых слов, другой лендинг.

Варианты объявлений: меняете текст во многих объявлениях сразу

С вариантами объявлений (Ad variations) вы тестируете изменения в адаптивных поисковых объявлениях, в одной кампании или сразу во всех. Google предлагает три вида: поиск и замена (Find and replace, например «Jetzt buchen» против «Jetzt anrufen»), изменение текста (Update text: добавить, убрать или закрепить заголовки и описания) и изменение URL (Update URLs). И здесь cookie решает, увидит посетитель вариант или оригинал. Находятся они в Campaigns → Experiments → вкладка Ad variations.

Этот инструмент нужен, когда один и тот же вопрос о тексте касается многих объявлений, например другое предложение или другой призыв к действию.

Два объявления в одной группе: просто, но с перекосом

Самый старый способ: два объявления в одной группе, смотреть, какое работает лучше. Проблема в чередовании объявлений. При стандартной настройке Optimize Google отдаёт предпочтение объявлению, которое, вероятно, сработает лучше. А если вы используете Smart Bidding с упором на конверсии, Google, по данным справки, автоматически включает «Optimize». Тогда у двух объявлений нет равных шансов, и вы отчасти измеряете распределение Google, а не свой текст. Альтернатива Do not optimize распределяет показы равномернее, но большинству рекламодателей Google её не рекомендует.

А закрепление в адаптивных поисковых объявлениях?

Закрепление не тест, а управление. Google предупреждает, что закреплённые заголовки уменьшают число возможных комбинаций и что большинству рекламодателей закрепление не рекомендуется. Если закрепляете, то, по совету самого Google, по два-три разных заголовка или описания на позицию, чтобы системе было из чего выбирать. Какие ошибки в текстах объявлений встречаются чаще всего, я посчитал в отчёте об ошибках RSA.

2. Сколько данных нужно A/B-тесту, прежде чем делать вывод

Самая частая ошибка в A/B-тестах не в выборе инструмента, а в нехватке терпения. Через неделю один вариант впереди, и тест останавливают. Настоящее ли это преимущество или случайность, покажет только расчёт.

Как считает калькулятор A/B-тестов

Бесплатный калькулятор A/B-тестов (на английском) на этом сайте использует интервалы Уилсона с уровнем доверия 95 %. Такой интервал показывает диапазон, в котором правдоподобно лежит настоящий коэффициент конверсии варианта. При малом объёме данных он широкий, при большом узкий. У калькулятора жёсткие правила:

• Меньше 100 показов на вариант: он вообще не считает.
• Коэффициент конверсии калькулятор сравнивает, только когда у каждого варианта есть минимум 15 конверсий не меньше чем из 100 кликов. До этого он сравнивает CTR (долю кликов) и предупреждает, что это ответ на другой вопрос.
• Явный победитель есть, только когда интервалы больше не пересекаются и отрыв больше 20 %. Иначе вердикт звучит как «тренд».

Пример расчёта

Цифры придуманы, расчёт настоящий. Два варианта получают по 400 кликов. A приносит 20 конверсий (5 %), B приносит 28 (7 %). Значит, B впереди на 40 %.

• Интервал Уилсона для A примерно от 3,3 % до 7,6 %.
• Для B примерно от 4,9 % до 9,9 %.

Диапазоны заметно пересекаются. Несмотря на отрыв в 40 %, это только тренд. Если доли не изменятся, интервалы в этом примере разойдутся лишь примерно при 2 400 кликах на вариант, то есть около 120 против 168 конверсий. Для аккаунта с 20 конверсиями в месяц это очень долго. Отсюда главное правило для небольших аккаунтов: тестируйте большие различия, а не отдельные слова.

Длительность

Для пользовательских экспериментов Google не называет фиксированного срока, начало и конец вы задаёте сами. Я бы всегда запускал тест на полные недели, чтобы будни и выходные встречались одинаково часто, и не начинал его на сезонном пике. Калькулятор сам предупреждает, что не учитывает сезонность, изменения бюджета и периоды обучения.

3. Три эксперимента, которые стоит запустить первыми

С этих трёх тестов я бы начал в поисковом аккаунте. Они нацелены на большие различия, потому что маленькие при обычных бюджетах почти не измерить.

1. Лендинг

Пользовательским экспериментом вы отправляете половину кликов на другую страницу. Эффект может быть большим: при 2 € за клик, если коэффициент конверсии растёт с 5 до 8 %, цена заявки падает с 40 € до 25 €, а ставка не меняется. Тестируйте действительно другую страницу, а не только новый цвет кнопки.

2. Предложение в тексте объявления

Вариантами объявлений вы тестируете одно ключевое сообщение во всех кампаниях: бесплатная первая консультация против фиксированной цены, «запросить предложение» против «позвонить сейчас». Так данные собираются со всего аккаунта, а не из одной маленькой группы. Насколько сильными бывают простые и быстрые варианты, я рассказываю в выступлении из статьи о том, почему простые объявления стоит тестировать.

3. Стратегия ставок

Прежде чем переходить с ручных ставок или «максимума кликов» на стратегию по конверсиям, проверьте переход в пользовательском эксперименте с распределением 50 на 50 по cookie. Так вы увидите, что даёт переход, а не будете толковать сравнение «до и после», в котором есть ещё сезон и конкуренты. Условие одно: отслеживание конверсий, которому вы доверяете. Как проверить его до запуска, описано в статье Как запустить Google Ads.

Как читать результат

• Решайте по конверсиям или выручке, а не по кликам. Больше кликов может означать меньше заявок.
• Дождитесь, пока оба варианта наберут минимальные объёмы, даже если один рано вышел вперёд.
• Переносите победителя функцией применения, а не загружайте объявление заново. Калькулятор советует то же самое: оставить оригинал, а не создавать победителя заново, потому что новое объявление делит показы.
• Записывайте, что и зачем вы тестировали. Иначе через три месяца никто не вспомнит, почему кампания выглядит именно так.

Итог

• Эксперименты в Google Ads находятся в разделе Experiments (в немецком интерфейсе Tests). Пользовательский эксперимент сравнивает кампанию с её копией, варианты объявлений тестируют изменения текста во многих объявлениях.
• Два объявления в одной группе не дают чистого A/B-теста, как только Google оптимизирует чередование, а при Smart Bidding по конверсиям он делает это автоматически.
• Закрепление — это управление, а не тест. Если закрепляете, то по два-три варианта на позицию.
• Отрыв становится результатом, только когда интервалы расходятся. В примере 40 % отрыва при 400 кликах на вариант недостаточно.
• Начинайте с больших различий: лендинг, предложение, стратегия ставок.

Есть результат теста, и вы не уверены, можно ли ему доверять? Хватает ли теста, что тестировать дальше или стоит ли переключаться, решается на разборе одного вопроса: от 390 €, 60 минут по видеосвязи, до трёх ссылок или документов заранее. Если хотите проверить весь аккаунт и аналитику, для этого есть проверка рекламы и аналитики от 1 900 €. Подходит ли разбор под ваш вопрос, можно бесплатно выяснить на первом созвоне. Записаться на созвон.

FAQ

Где в Google Ads найти эксперименты?

В меню Campaigns в разделе Experiments. Пользовательские эксперименты создаются кнопкой с плюсом, у вариантов объявлений своя вкладка.

Сколько должен длиться A/B-тест в Google Ads?

Фиксированного срока Google не задаёт. Решает объём данных: в калькуляторе A/B-тестов каждому варианту нужно минимум 15 конверсий из 100 кликов, прежде чем калькулятор начнёт сравнивать коэффициент конверсии, а победитель появляется, только когда интервалы расходятся. Запускайте тесты на полные недели.

Можно ли так тестировать торговые кампании или Performance Max?

По данным Google, пользовательские эксперименты доступны только для поисковых, медийных, видео- и гостиничных кампаний, не для кампаний в приложениях и торговых кампаний. Для других типов у Google есть отдельные виды экспериментов, о них здесь речь не идёт.

Почему Google Ads даёт одному объявлению намного больше показов, чем другому?

Потому что чередование стоит на «Optimize». Google тогда предпочитает объявление, которое, вероятно, сработает лучше, а при Smart Bidding по конверсиям это происходит автоматически. Для честного сравнения используйте варианты объявлений или пользовательский эксперимент.