2장에서는 다양한 확률 분포를 살펴본다. 한정된 수의 관찰 집합 $\textbf x_1, …, \textbf x_N$이 주어졌을 때, 확률 변수 $\textbf x$의 확률 분포 $p(\textbf x)$를 모델링하는 것을 density estimation(밀도 추정)라고 한다. 우리는 이때, 모든 데이터 포인트들은 독립적이며, 동일하게 분포되어 ...

앞에서 불확실성을 정량화하는 확률론에 대해 공부를 했다. 이 확률론과 결정이론을 사용하여 불확실성이 존재하는 상황에서 최적의 의사 결정을 하고 싶다. 입력 벡터 $\bf x$와 타깃 벡터 $\bf t$가 있을 때, 새로운 입력 $\bf x$에 대한 $\bf t$를 예측하고 싶다. 결합 확률 분포 $p(\textbf x,\textbf t)$는 이 변수...

데이터가 이진이나 단변량으로 들어오는 경우가 거의 없다. 아래 그림과 같이 하나의 데이터 포인트가 여러 요소를 가질 수 있고, 이를 구별해 내야 한다. 아래 그림에서 x 표가 어느 집단에 속하는지 판별을 하고 싶다. 가장 쉬운 방법은 입력 공간을 여러 칸으로 나누어서, 각 칸에서 다수를 차지하는 클래스를 해당 칸에 할당하는 것이다. 그러면 x는 빨간...

앞에서 최소 제곱법을 이용한 다항식 곡선 피팅에서 가장 좋은 일반화 값을 주는 최적의 다항식 차수가 존재함 정규화 계수 $\lambda$를 조절하여 모델의 복잡도를 조절할 수 있음 을 확인했다. MLE(Maximum likelihood estimation)에서는 성능이 너무 좋은 나머지 오버피팅이 일어나는 경우가 일어난다. 데이터...

목적 패턴 인식 분야에서 중요한 콘셉트 중 하나는 바로 ‘불확실성’이다. 확률론은 불확실성을 계량화하고 조작하기 위한 이론적인 토대를 마련해 주며, 1.5절에서 논의할 의사 결정 이론과 이번 절의 확률론을 함께 활용하면, 주어진 정보가 불확실하거나 완전하지 않은 제약 조건하에서 최적의 예측을 시행할 수 있게 된다. 정의 초기화 $X$와 $...

데이터셋을 나타내는 모델 찾기 $N$개의 관찰값 $x$로 이루어진 훈련 집합 $\textbf{x} \equiv (x_1, …, x_N)^T$와 그에 해당하는 표적값 $\textbf t \equiv (t_1, …, t_N)^T$가 다음과 같이 주어졌다고 하자. ($N = 10$) $t$ 값들은 $\sin(2\pi x)$의 출력값에 노이즈를 더하여...

PRML 공부에 들어가기에 앞서… 내가 이 책 공부를 함으로 인해서 인공지능 모듈을 더 능숙하게 쓸 수 있게 되리라는 기대는 하지 않는다. 그건 정말 시행착오를 거쳐서 코드를 더 많이 찍어 본 사람이 당연히 더 잘할 것이다. 그럼에도 불구하고 내가 이 책을 공부하려는 이유는, 기존에 존재하는 모델을 사용하면서 내가 지금 뭐 하고 있는 건지 아주 조금...