PRML [2] 확률 분포

2장에서는 다양한 확률 분포를 살펴본다.

한정된 수의 관찰 집합 $\textbf x_1, …, \textbf x_N$이 주어졌을 때, 확률 변수 $\textbf x$의 확률 분포 $p(\textbf x)$를 모델링하는 것을 density estimation(밀도 추정)라고 한다.

우리는 이때, 모든 데이터 포인트들은 독립적이며, 동일하게 분포되어 있다고 가정한다.

사실, 제한된 수의 관찰 집합에서 가능한 모 확률 분포는 무한 개이다.

---

parametric (매개변수적) 분포 : 작은 수의 조작 가능한 매개변수에 의해 결정되고, 관찰된 데이터 집합을 바탕으로 적절한 매개변수 값을 구하는 과정이 필요하다.

빈도적 관점 : 특정 기준을 최적화하는 방식으로 매개변수를 찾음 (가능도 함수)

베이지안 관점 : 매개변수에 대한 사전 분포를 바탕으로, 관측된 데이터 집합에 대한 사후 분포를 계산

• 이산 확률 변수의 이항 분포/다항 분포, 연속 확률 변수의 가우시안 분포

---

conjugate(켤레) 사전 확률의 역할과 지수족(exponential family)에 대해서도 알아보도록 하자.

---

매개변수적 접근법은 분포가 함수의 형태를 띠고 있어야 한다는 한계가 있다. 만약, 이 가정이 적절하지 않은 경우에는 nonparametric(비매개변수적) 밀도 추정을 사용할 수 있다.