Здравствуйте! Для начала, я хотел бы рассказать о своем собственном опыте исследования эффективности рекламных кампаний с использованием метрики CPA (стоимость привлечения клиента). Я провел эксперимент, сравнивая две группы и анализировал результаты в соответствии с размером выборки.В вашем случае, размер выборки составляет 2350 элементов в каждой группе, что является достаточно большим размером выборки для применения статистических тестов. Вы использовали критерий Шапиро-Уилка для проверки нормальности распределения в каждой группе и получили p-value, равный 0.00002, с уровнем значимости alpha 5%.
Низкое значение p-value (маленькое число, близкое к нулю) указывает на то, что данные не являются нормально распределенными. В данном случае, мы можем отклонить нулевую гипотезу о нормальности распределения данных.
Теперь, когда мы установили, что данные не являются нормально распределенными, нам нужно выбрать подходящий статистический критерий для проверки первоначальной гипотезы. В данном случае, лучше всего использовать непараметрический статистический критерий, такой как критерий Манна-Уитни (или ранговый критерий Уилкоксона), который не требует нормального распределения данных.
Критерий Манна-Уитни является непараметрическим аналогом двухвыборочного t-теста и позволяет сравнить средние значения между двумя группами, основываясь на рангах данных, а не на их точных значениях. Этот критерий подходит для сравнения метрики CPA в двух группах, особенно в случае, когда данные не распределены нормально.
Я надеюсь, что мой опыт и объяснение помогут вам принять правильное решение в вашем исследовании. Если у вас возникнут дополнительные вопросы, не стесняйтесь обращаться!