Что такое sticky в сплит-тесте?

Привязка одного варианта к конкретному визитору, чтобы он не попадал в оба и не размывал статистику. Без sticky сплит показывает шум.

По какой метрике выбирать победителя?

По всей воронке уник→инстал→деп, а не только по инсталлам. Вариант с большим числом установок может проигрывать по депозитам.

Сколько трафика лить на тест?

Достаточно, чтобы разница была устойчивой, особенно по отложенным депозитам. Ранняя остановка на десятках кликов даёт ложный результат.

Сколько элементов менять за раз?

По одному. Если менять несколько сразу, непонятно, что именно повлияло на конверсию.

Сплит-тесты PWA

Сплит-тест делит трафик между вариантами PWA и показывает, что реально конвертит, а не что кажется лучше на глаз. Sticky по визитору не размывает статистику, а метрики уник→инстал→деп подсвечивают победителя. Разбираем, как ставить корректный сплит и когда останавливать тест.

Что можно тестировать

Тестируют витрины (иконка, название, скриншоты, отзывы), преленды, офферные страницы и даже целые связки под разные гео. Смысл — найти пару, которая даёт больше инсталлов и депозитов на конкретном трафике. Меняйте по одному элементу за раз, иначе непонятно, что именно повлияло на результат.

Веса и платформы

Трафик делится по весам между вариантами (50/50, 70/30 и т.д.) и может резаться по платформам: Android и iOS ведут себя по-разному, поэтому объединять их в одном сплите часто вредно. Отдельные сплиты под платформу дают чистые выводы и не смешивают несопоставимую аудиторию.

Sticky по визитору

Один и тот же пользователь должен всегда видеть один вариант, иначе он попадёт в оба и статистика размажется. Sticky-привязка по визитору фиксирует вариант за пользователем на всю сессию и последующие заходы. Без этого сплит показывает шум, а не реальную разницу конверсий.

Метрики: уник → инстал → деп

Смотрите всю воронку, а не только инсталлы. Вариант может давать больше установок, но меньше депозитов — тогда он проигрывает по деньгам. Метрики уник→инстал→деп по каждому варианту показывают, где связка реально зарабатывает, а где просто собирает дешёвые, но пустые инсталлы.

Когда останавливать тест

Не останавливайте сплит на первых десятках кликов — это ещё шум. Дайте набрать достаточно данных, особенно по депозитам, которые случаются с задержкой. Победителя фиксируют по устойчивой разнице на воронке, а не по одному удачному дню, и только потом масштабируют.

Частые вопросы

Что такое sticky в сплит-тесте?: Привязка одного варианта к конкретному визитору, чтобы он не попадал в оба и не размывал статистику. Без sticky сплит показывает шум.
Нужно ли делить сплит по платформам?: Часто да: Android и iOS конвертят по-разному. Отдельные сплиты под платформу дают чистые выводы и не смешивают несопоставимую аудиторию.
По какой метрике выбирать победителя?: По всей воронке уник→инстал→деп, а не только по инсталлам. Вариант с большим числом установок может проигрывать по депозитам.
Сколько трафика лить на тест?: Достаточно, чтобы разница была устойчивой, особенно по отложенным депозитам. Ранняя остановка на десятках кликов даёт ложный результат.
Сколько элементов менять за раз?: По одному. Если менять несколько сразу, непонятно, что именно повлияло на конверсию.

Собери своё PWA в APEX за пару минут

Клоака, антибот, пуши, сплит-тесты и свои домены — в одном сервисе.

Начать бесплатно