Как проводить A/B-тесты интернет-магазина и не принять случайность за рост
Как задать гипотезу, закрепить варианты за посетителями, выбрать метрику и правило остановки. Учебный пример показывает, почему 6,2 % против 5 % ещё не доказывает победу.
A/B-тест сравнивает две версии одновременно на случайно разделённых группах. Чтобы проверить изменение магазина, заранее выберите основную метрику, необходимый объём наблюдений и правило остановки. Более высокий процент в одной группе сам по себе не доказывает, что изменение полезно: разница может быть случайной или возникнуть из-за ошибки измерения.
Эксперимент нужен, когда обе версии допустимы, а эффект неизвестен. Сломанную оплату и неверную цену исправляют сразу. Выбрать содержательную гипотезу поможет диагностика конверсии; здесь разберём именно контролируемое сравнение.
Паспорт теста до включения вариантов
Сформулируйте изменение и причину предполагаемого эффекта. Например: «показ понятного срока доставки на карточке поможет покупателю раньше оценить условия и увеличит долю оплаченных заказов». Вариант А сохраняет текущую карточку, Б добавляет срок. Одновременная смена цены, фотографий и доставки не позволит понять вклад одного изменения.
Гипотеза и одно изменение:
Аудитория, страницы и исключения:
Контроль А / вариант Б:
Единица случайного назначения и способ закрепления:
Основная метрика, числитель, знаменатель, окно покупки:
Минимально полезная разница для бизнеса:
Объём на группу, метод расчёта и предельный ресурс:
Защитные показатели и причины аварийной остановки:
Правило завершения и дата разбора:
Для основной метрики можно выбрать долю назначенных посетителей с подтверждённой оплатой. Определите окно, в течение которого учитывается покупка, и дождитесь его завершения. Корзина и клик — промежуточные события: если тест оптимизирует их, вывод ограничивается ими, а не продажами.
Как делить посетителей и проверять события
Назначайте вариант случайно и сохраняйте его при повторном посещении. Для авторизованного клиента можно использовать устойчивый ID, для гостя — предусмотренный системой идентификатор браузера с учётом применимых правил работы с данными. Удаление идентификатора и переход на другое устройство ограничивают такое сопоставление; не обещайте измерение уникальных людей, если измеряете браузеры.
Чередование недель не равно случайному одновременному тесту: в недели могут отличаться реклама, сезонность и наличие. Единица распределения должна соответствовать знаменателю. Если распределяются посетители, повторные визиты одного посетителя не становятся новыми независимыми наблюдениями.
До запуска пройдите обе версии в тестовой среде. Проверьте назначение до показа, сохранение варианта, передачу покупки с идентификатором заказа и связь с действительным статусом оплаты. Повторное открытие подтверждения не должно увеличивать число покупателей. Сотрудников и учебные заказы исключайте по одному заранее определённому правилу в обеих группах.
Во время теста следите за ошибками и распределением групп. Сильное необъяснённое расхождение с плановой долей может указывать на неправильное назначение или потерю событий. Такой тест сначала диагностируют, а не используют как доказательство.
Сколько наблюдений понадобится
План зависит от обычной частоты покупки, минимально интересующей разницы, допустимого риска ложного решения и мощности — способности обнаружить выбранный эффект. Для калькулятора двух долей подготовьте базовую конверсию по сопоставимым данным, ожидаемый абсолютный эффект, распределение групп, двусторонний уровень значимости и желаемую мощность. Эти параметры и выбранный метод сохраните в паспорте.
Условный магазин имеет конверсию 5 % и считает полезным рост до 6 %, то есть на 1 процентный пункт. При независимых равных группах, двустороннем уровне 5 % и мощности 80 % обычная нормальная аппроксимация даёт примерно 8 200 наблюдений на группу. Это учебная оценка порядка объёма, а не универсальный норматив. При 100 подходящих новых посетителях в день суммарные 16 400 потребуют около 164 дней ещё до закрытия окна покупки; условия магазина за это время могут измениться.
Приближённый расчёт можно воспроизвести по формуле ниже. Здесь pA и pB — доли от 0 до 1, p — их среднее, sqrt — квадратный корень, n — число наблюдений на одну группу. Множители 1,96 и 0,842 соответствуют выбранным двустороннему уровню 5 % и мощности 80 %. Формула предполагает независимые биномиальные наблюдения, равные группы и фиксированный план, без поправок на несколько гипотез.
pA = 0.05; pB = 0.06; p = (pA + pB) / 2
a = 1.96 * sqrt(2 * p * (1 - p))
b = 0.842 * sqrt(pA * (1 - pA) + pB * (1 - pB))
n = (a + b)^2 / (pB - pA)^2
Получается около 8 160 на группу; округление плана вверх до 8 200 объясняет число в примере. Для кластеров, повторных независимых назначений, последовательного дизайна или нескольких метрик этот простой расчёт не подходит без изменения методики.
В такой ситуации не обещайте вывод за две недели. Можно отказаться от эксперимента, проверить понимание страницы с покупателями и устранить очевидные проблемы. Выбор более частого события ускоряет набор, но меняет вопрос исследования: увеличение кликов не становится доказательством роста оплаты.
Почему 31 заказ против 25 ещё не победа
Предположим, в учебном наблюдении А получил 25 покупателей из 500 назначенных посетителей, Б — 31 из 500. Все числа придуманы; одна учтённая покупка соответствует одному покупателю за выбранное окно.
| Показатель | А | Б |
|---|---|---|
| Назначенные посетители | 500 | 500 |
| Покупатели с оплатой | 25 | 31 |
| Доля покупателей | 5 % | 6,2 % |
Наблюдаемая разница — 6,2 − 5 = 1,2 процентного пункта. Относительная разница равна 1,2 / 5 × 100 % = 24 %. Крупное относительное число не устраняет неопределённость небольшой выборки.
Для этих независимых биномиальных групп двусторонний 95-процентный интервал разности Б − А по методу Ньюкомба с интервалами Уилсона составляет примерно от −1,7 до +4,1 процентного пункта. Он допускает и ухудшение, и улучшение; объявлять победу нельзя. Для воспроизведения задайте именно 25/500, 31/500, порядок Б − А, уровень 95 % и этот метод в статистическом инструменте. Другой метод может дать немного иные округлённые границы.
Доверительный уровень описывает процедуру построения интервалов при её предпосылках, а не вероятность, что конкретная гипотеза верна. Не переводите его в обещание «с вероятностью 95 % продажи вырастут». В нашем примере корректный вывод — данных недостаточно для уверенного решения.
Когда завершать и что внедрять
При плане с фиксированным объёмом основное решение принимают после набора назначенного числа наблюдений и закрытия окна конверсии. Не останавливайте тест в первый день, когда появился удобный лидер, и не продлевайте произвольно до «почти значимого» результата. Для непрерывного статистического наблюдения нужна отдельная последовательная методика.
Ошибку оплаты, вред покупателю или сбой данных можно сделать заранее определённой причиной аварийной остановки. Это техническое прекращение, а не доказанная победа другой версии. При исчерпании ресурса до нужного объёма запишите «неопределённо».
Сравните основную метрику с минимально полезным эффектом и защитными показателями: вкладом на посетителя, ошибками, отменами и возвратами. Рост покупок ценой убыточных заказов не решает бизнес-задачу. Экономическую часть можно проверить по юнит-экономике магазина.