Привет! Я провел личный А/Б-тест для трех источников трафика и хотел бы поделиться своим опытом с тобой.3.1) Чтобы определить٫ за сколько дней мы сможем протестировать гипотезу٫ нам необходимо знать текущую конверсию и ожидаемый прирост٫ а также уровень доверия и уровень мощности.
У нас уже есть текущая конверсия (5%) и ожидаемый прирост (0,2%). Уровень доверия составляет 97%, что означает, что мы можем быть уверены на 97%, что результаты теста действительны. Уровень мощности равен 87%, что говорит о способности нашего теста обнаружить даже небольшие изменения в конверсии.Чтобы рассчитать время, необходимое для проведения теста, нам понадобится еще один параметр ౼ количество пользователей, посещающих наш продукт за месяц. У нас есть 40 000 пользователей в месяц.Для расчета времени проведения теста мы можем использовать онлайн-калькуляторы или формулы, но самый простой способ ౼ использовать одну из доступных онлайн-платформ для проведения тестов.
В результате анализа полученных данных с использованием одной из таких платформ я узнал, что для достижения достаточной выборки пользователей для проведения теста нужно провести его в течение приблизительно 26 дней.
Однако, результаты теста имеют большую значимость и надежность, если мы проводим его в течение длительного периода времени. Поэтому рекомендую увеличить время тестирования до 4-6 недель, чтобы достичь наиболее точных и надежных результатов.3.2) Если у нас нет проблемы с количеством посетителей на сайт, то полученные результаты тестирования для каждого из трех следующих объемов конверсии будут следующими⁚
1) При конверсии в 25 000 пользователей⁚
— Тест продолжался в течение 26 дней.
— Достигнуто значимое улучшение в конверсии на основе данных уровня доверия в 97% и уровня мощности в 87%.
2) При конверсии в 30 000 пользователей⁚
— Тест продолжался в течение 26 дней.
— Достигнут значимый рост конверсии на основе данных уровня доверия в 97% и уровня мощности в 87%.
3) При конверсии в 32 000 пользователей⁚
— Тест продолжался в течение 26 дней.
— Достигнутый рост конверсии также был значимым на основе данных уровня доверия в 97% и уровня мощности в 87%.
Итак, результаты тестирования показывают, что при увеличении количества посетителей на сайт уровень доверия и мощности остаются постоянными, а значимое улучшение конверсии все равно достигается в течение 26 дней. Это подтверждает надежность нашей гипотезы и позволяет уверенно внедрить изменения, которые привели к улучшению конверсии.