Бейслайн
Бейслайн (baseline) — это базовое значение метрики, зафиксированное на стабильном периоде, с которым сравнивают результаты после изменений — новый крео, цена, гео, версия PWA — чтобы понять, реальное это улучшение или случайный шум.
Как выставляют бейслайн
Сначала запускают текущую версию (крео, лендинг, цену) на достаточном объёме трафика и фиксируют её метрики — CR, eCPM, ROI — как базовую точку отсчёта. Только после этого запускают тест изменения и сравнивают результат именно с этой цифрой, а не с ощущениями или показателями за другой период.
Бейслайн в PWA-арбитраже
Без чёткого бейслайна легко принять случайное колебание конверсии за успех новой версии PWA или крео и потратить бюджет на «улучшение», которого на самом деле нет. Сплит-тесты в APEX со sticky-показом по визитору позволяют держать текущую версию как бейслайн и честно сравнивать с ней новый вариант на одном и том же трафике одновременно.
Частые вопросы
- На каком объёме трафика можно фиксировать бейслайн?
- Однозначного числа нет, но объём должен быть достаточным, чтобы метрика не «гуляла» день от дня — на практике это обычно несколько сотен конверсий, а не десяток кликов.
- Как часто нужно обновлять бейслайн?
- Как только текущая версия действительно и стабильно обошла старую по метрике — она сама становится новым бейслайном для следующего теста; держать один и тот же бейслайн месяцами при явном устаревании креатива смысла не имеет.
Клоака, антибот, пуши, сплит-тесты и свои домены — в одном сервисе.
Начать бесплатно