A/B-тесты пуш-уведомлений

Что тестировать в первую очередь

Заголовок и текст пуша обычно дают самый заметный разброс по CTR — здесь стоит тестировать конкретный угол подачи (срочность, бонус, персонализация), а не просто синонимы одной и той же фразы. Иконка и изображение пуша тестируются отдельно от текста: один и тот же текст с разной иконкой может давать разный CTR просто за счёт узнаваемости или контраста в шторке уведомлений. Тайминг отправки — третья ощутимая переменная, особенно при сравнении отправки сразу после подписки против отложенной рассылки по расписанию.

Как правильно ставить сплит-тест

Тест должен быть sticky по визитору — один и тот же пользователь должен стабильно попадать в один и тот же вариант при повторных отправках, иначе результат размывается и его нельзя честно интерпретировать. Менять стоит одну переменную за тест: одновременная замена заголовка, иконки и времени отправки не покажет, что именно повлияло на результат. Тест стоит держать до набора статистически заметной разницы по сегменту, а не останавливать через час после первых цифр.

Какие метрики смотреть, а не только CTR

Высокий CTR — это не всегда хороший сигнал: кликбейтный или агрессивный заголовок может поднять открываемость и одновременно увеличить долю отписок или снизить долю тех, кто в итоге дошёл до депозита. Правильная связка метрик — CTR как индикатор интереса, конверсия в целевое действие (например, депозит) как индикатор качества клика, и процент отписок как индикатор усталости базы. Вариант с более низким CTR, но более высокой конверсией в депозит и низкими отписками, почти всегда выгоднее и в моменте, и по LTV базы в перспективе.

Тайминг и локальное время в тестах

Один и тот же пуш, отправленный в разное локальное время по гео, может показывать разный CTR просто потому, что пользователь либо активен и держит телефон в руках, либо спит или на работе. При тестировании тайминга важно фиксировать именно локальное время получателя, а не время сервера — иначе сравнение двух слотов на самом деле сравнивает не тайминг, а случайное совпадение с активностью аудитории. Ретеншн-пуши и триггерные (например, после брошенного депозита) стоит тестировать по таймингу отдельно от массовых рассылок по всей базе — у них разная логика окна отправки.

A/B-тесты пушей в APEX

В APEX сплит-тесты пушей sticky по визитору из коробки — не нужно вручную городить логику, чтобы один пользователь не увидел оба варианта поочерёдно. Пуш-движок объединяет сегментацию базы, триггерные и плановые рассылки и сами тесты в одном месте, поэтому результат теста сразу виден в разрезе конверсии, а не только открываемости, и можно быстро развернуть выигравший вариант на весь сегмент.

Частые вопросы

Сколько вариантов пуша тестировать одновременно?

Обычно двух вариантов достаточно, чтобы быстро набрать статистику и точно понять, какая переменная сработала; больше вариантов размывает трафик на сегмент и требует значительно большей базы, чтобы результат был читаемым.

Как понять, что тест пора останавливать?

Когда разница между вариантами стабильно держится при достаточном объёме отправок на каждый сегмент, а не скачет от партии к партии — останавливать по первым нескольким сотням доставок обычно рано.

Может ли высокий CTR быть плохим сигналом?

Да — кликбейтный заголовок нередко поднимает CTR, но одновременно снижает долю тех, кто доходит до целевого действия, и увеличивает отписки; смотреть стоит на связку CTR, конверсии и отписок вместе, а не на CTR отдельно.

Нужно ли тестировать иконку отдельно от текста пуша?

Да, если тестировать их вместе, невозможно понять, что именно изменило результат — иконку стоит варьировать в отдельном тесте на том же тексте, который уже показал себя стабильно.

Читайте также

• Что такое PWA в арбитраже трафика
• Push-уведомления в арбитраже
• Клоака для Facebook в PWA