A/B тестирование: от гипотезы до интерпретации результатов

📅 1 июля 2026 г.

Введение

A/B тестирование — это метод, позволяющий сравнить два варианта одного элемента (страницы, объявления, письма) и выбрать лучший по ключевой метрике. Без правильной методологии тесты могут давать ложные результаты. Разберем этапы от гипотезы до интерпретации.

1. Формулировка гипотезы

Гипотеза должна быть конкретной и измеримой. Например: «Изменение цвета кнопки CTA с зеленого на красный увеличит конверсию на 10%». Используйте данные аналитики (Google Analytics, CRM), чтобы выявить узкие места. Пример: если на странице высокая bounce rate, гипотеза — «Упрощение формы заказа снизит количество отказов на 15%».

2. Определение метрик

Выберите одну primary метрику (например, конверсия, CTR, число лидов) и несколько secondary (время на странице, глубина просмотра). Для B2B важна лидогенерация, для E-com — средний чек. Инструменты: Google Optimize, Optimizely, VWO.

3. Дизайн эксперимента

Создайте варианты: контроль (A) и измененный (B). Убедитесь, что изменения только в одном элементе (иначе не поймете, что повлияло). Разделите трафик случайным образом 50/50. Для адекватной статистической мощности используйте калькулятор размера выборки.

4. Запуск и сбор данных

Запускайте тест не менее чем на 1-2 недели, чтобы учесть эффект дня недели. Не останавливайте раньше времени — дождитесь 95% доверительного интервала. В SMM можно тестировать креативы в объявлениях Facebook, в SEO — заголовки мета-тегов.

5. Анализ результатов

Используйте t-тест или z-тест. Пример: в тесте посадочной страницы для софта вариант B показал конверсию 5.2% против 4.3% у A, p-value = 0.03 — различия статистически значимы. Внедряйте вариант B. Если p > 0.05 — нет значимых различий, нужна новая гипотеза.

6. Интерпретация и внедрение

Не внедряйте изменения, если результат статистически незначим или если метрика улучшилась, но secondary упали (например, конверсия выросла, но время на сайте упало — возможно, пользователи не находят нужную информацию). Документируйте результаты в CRM или базе знаний.

Практические рекомендации

Начинайте с малого: тестируйте заголовки, кнопки, изображения.
Не тестируйте слишком много одновременно: это искажает результаты.
Используйте инструменты: Google Optimize бесплатен, VWO подходит для сложных тестов.
Учитывайте сегменты: например, тестируйте для разных источников трафика (SEO, контекстная реклама, SMM).
Избегайте «пиковой» нагрузки: не запускайте тест во время акций, чтобы не было смещения.

Пример кейса

Интернет-магазин косметики хотел увеличить конверсию на странице товара. Гипотеза: добавление видео-отзыва увеличит доверие. Тест: контроль — статичное фото, вариант B — видео. После 2 недель: B показал +12% конверсии при p=0.01. Внедрили видео на все карточки, что привело к росту ROI на 8%.