Шаблон дизайна A/B-теста
Шаблон в Google Sheets для проектирования A/B-тестов. Помогает структурировать эксперимент до его запуска — от формулировки гипотезы до расчёта продолжительности теста.
Что внутри
Описание эксперимента — формулировка гипотезы в формате: «Если [изменение в продукте], то изменится [целевая метрика] на величину [ожидаемый результат], потому что [данные из исследований]». Здесь же указывается целевая метрика и дата начала эксперимента.
Исходные значения — параметры для расчёта:
- Кол-во посетителей и заявок в месяц
- Доля трафика для каждого варианта (по умолчанию 50%)
- Базовое значение метрики (Baseline Rate)
- Уровень значимости (Confidence Level, 1−α) — по умолчанию 95%
- Статистическая мощность (Statistical Power, 1−β) — по умолчанию 80%
Расчёт продолжительности — таблица автоматически считает для разных уровней MDE от 5% до 30%. MDE (Minimum Detectable Effect) — минимальный размер эффекта, который эксперимент способен обнаружить. Например, MDE 10% при базовой конверсии 10% означает, что тест зафиксирует изменение конверсии до 11% (абсолютный прирост 1%), но не заметит более мелкие сдвиги. Таблица считает:
- Абсолютный прирост конверсии (Lift in Conversion)
- Целевое значение метрики (Target Value)
- Необходимый размер выборки (Sample Size)
- Длительность в днях и неделях
- Дату завершения эксперимента
Чем меньше эффект хотите обнаружить, тем дольше нужно проводить тест. Например, при базовой конверсии 10% и 10 000 посетителей в месяц: обнаружение 5% MDE потребует ~692 дня, а 20% MDE — всего ~46 дней.