릿지 회귀 / 라쏘 회귀 / 일래스틱 회귀분석

사전 배경 이해 

통계 데이터 분석에 있어서 모델의 단순화는 모델 일반화를 위해 매우 중요하다. 

일반적인 다중선형회귀에서는

1. 독립변수 갯수가 표본크기에 비해서 지나치게 많을 경우 제대로된 성능을 발휘하기 어렵다.

불필요한 회귀계수는 모델의 예측성능을 저하시키기 떄문

2. 많은 독립변수가 존재할 경우 다중공선성으로 인해 회귀계수의 영향력이 과도하게 높게 측정될 수 있다.

 

패널티 회귀분석 (Penalized Regression)

: 너무 많은 독립변수를 갖는 모델에 패널티를 부과하는 방식으로 기존 선형회귀의 과적합을 방지시키는 방법이다.

ㄴ모델 성능에 크게 기여하지 못하는 변수의 영향력을 제거하거나 축소킨다.

ㄴ일반적인 선형회귀는 MSE(잔차제곱합이 최소)으로 계산하지만 패널티 회귀분석에는 제곱합에 패널티 항이 붙어 

  제곱합과 패널티항의 합이 최소가 되는 회귀계수를 추정한다.

ㄴ대표적인 패널티 회귀분석으로는 릿지회귀분석, 라소회귀분석, 일래스틱 회귀분석이 있다.

릿지회귀분석 (Ridge Regression)

: 모델의 설명력에 기여하지 못하는 독립변수의 회귀계수 크기를 0에 근접하도록 축소시킨다. (작아져도 0은 되지 않음)

 

L2-norm 이라고 부르는 페널티항을 통해 일반 선형회귀 모델에 페널티를 부과하는 방법으로

회귀계수를 축소시킨다.

 

식 이해

1) 베타

: 각 회귀계수 ~ 이 베타(각 회귀계수)를 제곱한뒤 더한 값을 감가값과 곱하는 것이다. 

2) 하이퍼파라미터 튜닝

: 감마 값이 커짐에 따라 회귀계수는 작아질 수 밖에 없다.

  or 감마 값이 작아짐에 따라 회귀계수는 원래 선형회귀 처럼 계산하게 되는 것

 

주의사항

: 릿지 회귀분석은 독립변수 척도에 크게 영향을 받는다. 표준적인 선형회귀 분석과 더욱 영향을 받는 알고리즘이므로,

릿지 회귀를 적용하기 전에 모든 독립변수의 척도가 동일하도록 표준화하는 작업이 선행되어야 한다.

 

릿지 회귀 특징

> 관측갯수 보다 독립변수가 상대적으로 많을 경우, 일반 표준 선형회귀보다 릿지회귀가 더욱 우수한 성능을 발휘

> 릿지 회귀분석은 회귀계수를 0에 가깝도록 축소시키지만 어떤 회귀계수도 0으로 만들지는 않는다.

ㄴ즉, 원래 데이터셋에 있는 모든 독립변수가 릿지회귀에서도 그대로 적용된다는 것을 말한다.

ㄴ따라서 단계선택법을 통해 통계적으로 유의한 독립변수만을 유지할 수 있는 선형회귀와는 달리,

  릿지 회귀분석은 회귀모델의 모든 독립변수를 그대로 보존하고 있다. ( 또 반대로 말하면, 변수선택법 제공 불가)

라쏘 회귀분석 (Lasso Regression)

: 라쏘회귀모델은 릿지회귀모델과 다르게 설명력에 기여하지 못하는 독립변수의 회귀계수를 0으로 만드는 방법이다.

ㄴ 릿지회귀와 달리 회귀계수가 0이 될 수 있기 때문에 변수선택을 통해 더 간단한 모델을 만들 수 있다. 

식1_베타(회귀계수 보기 편하게 w로 표시)

라쏘회귀에서는 L1-norm 패널티항으로 회귀모델에 패널티를 부과함으로써 회귀계수를 축소시킨다.

 

식 이해 

베타 : 각 회귀계수~ 각 회귀계수를 절대값 하여 계산하여 추정한다.

감마 : 릿지회귀와 마찬가지로 패널티의 크기를 결정하는 하이퍼파라미터 

 

릿지와의 차이

: 라쏘회귀모델에서 패널티항은 모델에 대한 기여도가 낮은 회귀계수를 0으로 만들 수 있다. 

ㄴ이는 해당 변수가 모델에서 제거됨을 의미한다.

ㄴ따라서 라쏘회귀모델을 이용하면 변수선택을 통해 설명력이 우수한 독립변수만으로 모델을 생성해 단순화시킬 수 있다. (모델이 더 간명해짐에 따라 해석가능한 모델을 생성한다는 장점을 갖는다)

 

> 단, 이 특장점이 라쏘 회귀모델이 릿지 회귀모델보다 우수하다는 것을 의미하지는 않는다. 

ㄴ 라쏘 회귀분석에서는 일부 독립변수를 제거할 수 있기 떄문에, 일부 독립변수의 설명력이 크고, 나머지 독립변수의 설명변수가 설명력이 낮을 때 우수한 성능을 보여준다. 

ㄴ 반면, 릿지회귀는 많은 독립변수의 선형결합으로 모델을 생성하기 때문에 이 독립변수들의 설명력이 서로 차이가 크게 나지 않을수록 우수한 성능을 보여준다. 

ㄴ 결론적으로 모두 다 사용해서 평가해야 한다. 

일래스틱회귀분석

: 릿지와 라쏘의 결합이다. 즉 L1-norm 과 L2-norm을 모두 이용하여 패널티를 부과하여 회귀모델을 생성한다. 

ㄴ 릿지 회귀모델처럼 모델을 충분하게 설명하지 못하는 일부 독립변수의 회귀계수 크기를 축소할 수 있고,

    랏쏘 회귀모델처럼 모델을 충분하게 설명하기 못하는 일부 독립변수으 회귀계수를 강제로 0으로 할당하여

    특정 독립변수를 모델에서 제거할 수 있다. 

식 이해

알파 : 알파가 작을 수록 릿지 회귀모델(L1-norm)이 더 강하게 작용하고, 클수록 라쏘 회귀모델(L2-norm)이 더 크게 작용

감마 : 마찬가지로 패널티항(L1-norm, L2-norm)의 파라미터 튜닝 

 

 

 

 

 

 

 

출처 : www.youtube.com/watch?v=3OEwk2VxZdE