Привет! Меня зовут Алексей, и я хотел бы поделиться своим опытом и знаниями по заданным вопросам.1. Когда увеличивается глубина дерева в модели, мы обычно наблюдаем увеличение bias и снижение variance. Bias (смещение) ⸺ это мера отклонения прогнозов от истинного значения, а variance (дисперсия) — это мера изменчивости прогнозов для разных наборов данных. Увеличение глубины дерева приводит к созданию более сложных моделей, способных запоминать и адаптироваться к более сложным образцам данных. Это может привести к переобучению модели, когда она настраивается на шум в данных и теряет способность обобщения. Поэтому, вместе с увеличением глубины дерева, bias уменьшается, но variance увеличивается.
2. В некоторых ансамблях٫ таких как случайные леса или градиентный бустинг٫ базовые алгоритмы (в нашем случае — деревья) могут иметь бОльшую глубину. Например٫ в случайных лесах каждое дерево строится на случайной подвыборке данных с заменой٫ что приводит к деревьям более глубокой структуры. В градиентном бустинге٫ каждый последующий базовый алгоритм строится для исправления ошибок٫ оставленных предыдущими алгоритмами٫ и это также может приводить к деревьям более глубокой структуры.
3. Если мы применим логарифм ко всем предсказанным значениям и затем вычислим ROC AUC (площадь под ROC-кривой)٫ то это не изменит результат. Логарифм — это монотонная функция٫ и поэтому отношения порядка между вероятностями останутся неизменными. Мы можем применить логарифм к предсказаниям для лучшей интерпретируемости или для изменения масштаба данных٫ но это не повлияет на ROC AUC.
4. Если мы разделим все предсказанные значения на 2 и вычислим ROC AUC, то это не повлияет на само значение показателя, но изменит порог отсечения для получения классификационных меток. ROC-кривая показывает зависимость между чувствительностью и специфичностью модели при различных порогах отсечения. Поэтому, если мы разделим все предсказанные значения на 2, ROC AUC останется тем же, но порог отсечения изменится.
5. Стандартизация признаков может влиять на свойство разряженности данных. Разреженность ⸺ это свойство, при котором большая часть значений в матрице является нулевыми. Если мы применим стандартизацию к признакам, то это может изменить значения признаков и, следовательно, структуру разреженности данных. Например, если стандартизированный признак имеет большую изменчивость и малую среднюю, то после стандартизации значения, которые раньше были ниже нуля, могут стать положительными. Это может привести к изменению структуры разреженности данных.
Надеюсь, мой опыт и знания помогут вам понять и разобраться в заданных вопросах. Желаю вам удачи в изучении и применении этих концепций!