PRML [1.3] 모델 선택

앞에서

• 최소 제곱법을 이용한 다항식 곡선 피팅에서 가장 좋은 일반화 값을 주는 최적의 다항식 차수가 존재함
• 정규화 계수 $\lambda$를 조절하여 모델의 복잡도를 조절할 수 있음

을 확인했다.

MLE(Maximum likelihood estimation)에서는 성능이 너무 좋은 나머지 오버피팅이 일어나는 경우가 일어난다.

• 데이터 충분하면 데이터를 훈련 집합, 검증 집합으로 분리
• 데이터 부족하면 검증 집합에 대해서도 과적합 → 시험 집합 생성

---

교차 검증법 (Cross Validation)

• 전체 데이터 $S$ 중에서 $(S-1)/S$ 만큼 훈련에 사용, $1/S$를 test set으로 사용
• $S=N$ 교차 검증법 : 하나씩 돌아가면서 N번 시행 (leave one out)

S가 증가하면 계산이 증가한다. 또한, 테스트 해 봐야 하는 매개변수가 여러 개이면 계산이 기하급수적으로 증가한다. 이상적으로는, 훈련 집합만 사용하면서 한번에 여러 모델을 비교할 수 있어야 한다. 이를 위해, 훈련 집합만을 사용하고, 과적합으로 인한 bias가 일어나지 않는 성능 척도가 필요하다.

전통적인 정보 기준(infomation criteria)들은 bias를 막기 위해 페널티 조건을 추가하는 방식을 사용한다. 아카이케의 정보량 기준, 베이지안 정보 기준과 같은 기준들은 모델 매개변수들의 불확실성을 고려하지 않고, 간단한 모델을 선택한다. → see you later