정규화 모델 배경 개념

expected MSE = σ^2 + BIAS^2 + VARIANCE

σ : irreducible error

기본적인 선형회귀모델에서 최소제곱법은

회귀계수 w에 대한 unbiased estimator 중 가장 분산이 작은 estimator

-> BLUE: Best Linear Unbiased Estimator

(참조: Gauss-Markov Theorem)

-> unbiased를 포기하고 variance를 줄이는 방법도 있다. 

-> subset selection: n개의 input X 중에서 k개만을 사용해 

회귀 계수를 추정하는 방법

방식에 따라 여러 종류가 있다.

best subset selection

forward stepwise selection

backward stepwise selection

least angle regression

orthogonal matching pursuit

regularization concept

같은 데이터셋을 가지고 1차, 2차, 3차, ...

차수를 높여가며 각각 모델링 했을 때

차수가 높을수록 주어진 데이터셋을 잘 설명하지만

미래에 주어질 데이터에 대한 예측은 차수가 높을수록 에러가 커진다. training 관점 vs testing 관점

정규화 개념: 제약을 주었다.

 weight에 제약을 준다.

어떻게?

-하이퍼 파라미터 λ를 weight 앞에 곱해줘서

weight가 강제로 작아지도록 제약

-w의 제곱의 합이 특정값 t를 넘지 않도록 제약

(L2-norm)

두 가지 방법은 라그랑주 멀티플라이어에 의해 equivalent함

Ridge regression closed-form sol)

w_ridge = (X^T X +  λI)^-1 X^T y

LASSO

weight의 절댓값의 합이 특정값 t를 넘지 않도록 제약

(L1-norm)

w1, w2 평면에 제약조건에 의한 범위 마름모와 

특정 mse값을 갖는 w조건에 의한 타원이 

교점을 갖을 때까지 mse를 키워간다.

L1-norm은 미분 불가능하기 때문에 closed form sol 구할 수 없음.

-> 수치 최적화 기법으로 구한다.

- quadratic programming techniques (1996, Tibshirani)

-LARS algorithm (2004, Efron et al.)

-coordinate descent algorithm (2007, Friedman et al.)

 λ가 커지면 즉, 제약이 심해지면

적은 변수만 주요해지고, 모델은 간단해지고, 해석은 쉬워지고, 

학습오차는 높아지고, underfitting 문제가 생긴다.

 λ가 작아지면 즉, 제약이 줄어들면

많은 변수가 주요해지고, 모델이 복잡해지고, 해석이 어려워지고,

학습오차는 줄어들지만 테스트 오차는 높아지는 overfitting 문제가 생긴다.

x변수간에 correlation이 높을 경우 모델의 정확도가 떨어진다.

Elastic net

ridge + lasso -> λ1, λ2

제약범위는 원과 마름모사이의 모양임

여러가지 정규화 모델

prior knowledge 에 따라 적합한 정규화 모델을 선택한다.

signal, profile, spectra - fused lasso

group lasso

sparse group lasso

nonconvex penalty 를 사용하는 모델

SCAD 2008

MCP 2010

SELO 2013

Truncated lasso penalty 2013

재획하면서 공부하기 #2

https://gall.dcinside.com/board/view/?id=maplestory_new&no=8312042&s_type=search_subject_memo&s_keyword=%EC%9E%AC%ED%9A%8D%ED%95%98%EB%A9%B4%EC%84%9C&page=1