Привет! Я рад поделиться с тобой результатами нашего проведенного АБ-теста и ответить на твои вопросы.Мы решили провести АБ-тест с целью увеличить среднее время‚ которое пользователи проводят на нашем сайте (average timespent per user). Итак‚ у нас было две версии‚ которые мы будем сравнивать⁚ версия A и версия B.Используя формулу для определения статистической значимости различий‚ мы получили следующие данные⁚
Версия A⁚
— Среднее время⁚ 360
— Стандартное отклонение⁚ 40
— Количество пользователей⁚ 9802
Версия B⁚
— Среднее время⁚ 352
— Стандартное отклонение⁚ 58
— Количество пользователей⁚ 9789
Для того‚ чтобы определить‚ является ли результат статистически значимым‚ нам нужно провести t-тест. Однако‚ для этого нам необходимо знать уровень доверия‚ с которым мы хотим проводить тестирование. В данном случае‚ уровень доверия составляет 80%.
Проведя t-тест‚ результаты показали‚ что различие между средним временем версии A и версии B является статистически значимым с уровнем доверия 80%. Это значит‚ что с вероятностью в 80% различие между версиями не является случайным.
Теперь‚ когда мы знаем‚ что результаты теста статистически значимы‚ мы можем принять решение о том‚ какую версию выкатить на продакшн. Исходя из проведенного теста‚ версия A имеет среднее время 360‚ в то время как версия B имеет среднее время 352. Исходя из этих данных‚ можно сделать вывод‚ что версия A имеет лучшие результаты и стоит выбрать её для продакшн.
Вот и всё! Мы провели АБ-тест на увеличение average timespent per user и с уверенностью 80% выбираем версию A для продакшн. Надеюсь‚ мой опыт поможет тебе в принятии решений при проведении подобных тестов.