전체 확률 법칙과 베이즈 정리

이전 포스팅 참조 : 확률의 공리, 조건부 확률, 독립

이번에 다룰 베이즈 정리는 표본 공간을 분할하는 것부터 시작합니다.

 

표본 공간의 분할(Partition)

표본 공간 $S$안의 사건들 $B_1, \cdots, B_k$가 다음 조건을 만족하면 $S$의 '분할'이라고 말합니다.

$\forall i \in \{1, \cdots k\}$,

1. $B_i \neq \varnothing, \forall i \in \{1, \cdots k\}$

2. $\bigcup_{i=1}^{k} B_i = S, \forall i \in \{1, \cdots k\}$

3. $P(B_i \cap B_j) = 0, \forall i \in \{1, \cdots k\} \text{ and } i \neq j$.

$B_i$사이에는 서로 교집합이 없습니다.

공집합인 $B_i$는 없고, 모든 $B_i$'s 를 더하면 $S$와 같으며, 서로 다른 $B_i$와 $B_j$가 동시에 일어날 확률이 0이어야 합니다. 이때, 표본 공간에서 서로 다른 $i, j$에 대해 $P(B_i \cap B_j) = 0$는 $B_i \cap B_j = \varnothing$과 같은데 이를 특히 $B_i$와 $B_j$는 '상호 배반(Mutually Exclusive)'이라고 말합니다.

 

전체 확률 법칙(Law of total Probability)

이 분할된 표본 공간에서 관심 사건 $A$가 있다고 합시다. 만약 모든 $P(B_i)$와 $P(A|B_i)$를 알고 있다면 $P(A)$를 다음과 같이 구할 수 있습니다.

\begin{align} P(A) & = \sum_{i=1}^{k} P(A \cap B_i) \\ & = \sum_{i=1}^{k} P(A|B_i) \cdot P(B_i) \end{align}

위 식을 '전체 확률 법칙' 또는 '전확률 공식'이라고 부릅니다.

$P(B_i)$와 $P(A\vert B_i)$를 알고 있다면 $A$를 구할 수 있습니다.

 

베이즈 정리(Bayes' Theorem)

베이즈 정리는 $A$를 전제로 한 각 분할 $B_i$의 조건부 확률 $P(B_i | A)$을 구하기 위한 식입니다. 이 식을 사용하기 위한 전제조건은 아래와 같습니다.

 

1. 분할($B_1, \cdots, B_k$)의 각 사건의 확률 $P(B_1), \cdots P(B_k)$을 알고 있을 때

2. 각 $B_i$를 전제로 했을 때, $A$가 발생할 조건부 확률 $P(A|B_1), \cdots, P(A|B_k)$을 알고 있을 때

 

위 두 가지 조건을 통해 $P(B_i|A)$를 다음과 같이 구할 수 있습니다.

\begin{align} P(B_i|A) & = \frac{P(B_i \cap A)}{P(A)} \nonumber \\ & = \frac{P(A|B_i) \cdot P(B_i)}{P(A)} \nonumber \\ & = \frac{P(A|B_i) \cdot P(B_i)}{P(B_1) \cdot P(A|B_1) + \cdots + P(B_k)P(A|B_k)}. \quad \because \text{ by the law of total probability} \nonumber \end{align}

 

쓰임새를 예를 들어보겠습니다. 내가 핸드폰을 샀는데 불량이 났다고 합시다. 핸드폰을 생산하는 공장이 $B_1, \, B_2, \, B_3$ 총 세 곳 밖에 없다고 할 때, 핸드폰이 어디에서 만들어졌는지에 대한 확률을 구해봅시다.

표본 공간 $S$를 모든 생산된 핸드폰들이라고 한다면, 핸드폰은 $B_i$'s에서 생산되었으므로 $S$는 사건 $B_1, \, B_2, \, B_3$로 이루어집니다. 각 공장에서 동시에 만들어지는 경우는 없으므로 각 사건은 서로 상호 배반이며($B_i\cap B_j = \varnothing$), 핸드폰은 세 공장 중 하나에서 반드시 만들어졌으므로 $B_i$'s는 $S$의 분할이 됩니다. $S$에서 핸드폰이 불량일 사건을 $A$라고 합시다. 핸드폰이 각 공장에서 만들어질 확률 $P(B_i)$과 각 공장에서 불량률이 나올 확률 $P(A|B_i)$을 알고 있다면 위 베이즈 정리를 이용하여 핸드폰이 고장 났을 때, 어느 공장의 제품인지 확률적으로 알 수 있습니다.