Константин Заваров
Константин Заваров

Шаблон дизайна A/B-теста

Шаблон в Google Sheets для проектирования A/B-тестов. Помогает структурировать эксперимент до его запуска — от формулировки гипотезы до расчета продолжительности теста.

Скачать шаблон

Шаблон дизайна A/B-теста

Что внутри

Описание эксперимента — формулировка гипотезы в формате: «Если [изменение в продукте], то изменится [целевая метрика] на величину [ожидаемый результат], потому что [данные из исследований]». Здесь же указывается целевая метрика и дата начала эксперимента.

Исходные значения — параметры для расчета:

Расчет продолжительности — таблица автоматически считает для разных уровней MDE от 5 % до 30 %. MDE (Minimum Detectable Effect) — минимальный размер эффекта, который эксперимент способен обнаружить. Например, MDE 10 % при базовой конверсии 10 % означает, что тест зафиксирует изменение конверсии до 11 % (абсолютный прирост 1 %), но не заметит более мелкие сдвиги. Таблица считает:

Чем меньше эффект хотите обнаружить, тем дольше нужно проводить тест. Например, при базовой конверсии 10 % и 10 000 посетителей в месяц: обнаружение 5 % MDE потребует ~692 дня, а 20 % MDE — всего ~46 дней.