결합 분포

 

 

이전 포스팅 참조 : 확률 변수와 확률 분포 / 조건부 확률, 독립

 

모든 실험을 하나의 확률 변수로만 설명할 수 있다면 좋겠지만, 대부분의 현실 상황에서는 둘 이상의 확률 변수를 이용하여야만 설명할 수 있습니다. 오늘은 둘 이상의 확률 변수가 어떤 조합의 값들을 가질 가능성이 얼마인가를 다루는 결합 확률과 주변 확률의 개념에 대해서 알아보겠습니다.

 

결합 확률 분포 함수(Joint Probability Distribution Function)

결합 확률 분포 함수는 두 개 이상의 확률 변수에 대한 확률을 정의하기 위한 함수입니다. 확률 변수가 2개인 경우의 예를 들어보겠습니다. 어떤 집단에서 사람이 자동차를 가지고 있는 경우를 확률 변수 $X$로 나타내, 가지고 있는 경우는 1, 가지고 있지 않은 경우는 0이라고 합시다. 이와 별개로, 집단 개개인의 가족 구성원 수를 확률 변수 $Y$로 두고, 혼자 사는 경우는 1, 둘 이상이면 2, 3, ... 이라고 합시다. 만약 우리가 관심이 있는 확률이 $P(X=1, Y=1)$(혼자 사는 사람이 차를 가지고 있을 확률)나, $P(X=0, Y=3)$(3인 가구가 차를 가지고 있지 않을 확률)등이라면, 각 확률 변수별 확률 분포 함수 $f(x)$, $f(y)$만으로는 알 수 없습니다. 따라서 우리는 $X$와 $Y$의 모든 값들에 대한 모든 확률을 표현하는 새로운 확률 분포 함수를 생각해야만 합니다. 이처럼 $X$, $Y$의 조합에 대한 확률을 '결합 확률'이라고 부르며, 결합 확률을 구하기 위한 함수를 '결합 확률 분포 함수'라고 부릅니다. 이전과 마찬가지로 확률 변수가 이산형이냐, 연속형이냐에 따라 표현하는 방법이 조금씩 달라집니다. 이번엔 이산형에 대해서만 간단히 다뤄보도록 하겠습니다.

결합 확률 질량 함수(Joint Probability Mass Function)

 두 개의 이산형 확률 변수 $X$, $Y$가 있고, $\forall x \in X$, $\forall y \in Y$일 때, 모든 가능한 $(x, y)$의 조합에 대해 $f(x, y) = P(X = x, Y = y)$를 만족하는 함수를 '결합 확률 질량 함수 (연속형 : 결합 확률 밀도 함수)'라고 부르며 아래와 같은 성질을 만족합니다. $$ \begin{align} 1. & \quad 0 \leq f(x, y) \leq 1 \nonumber \\ 2. & \quad \sum_{\text{all }x}\sum_{\text{all } y}f(x, y) = 1. \end{align}$$예를 한 번 들어보겠습니다.

		X
		10	20
Y	1	0.4	0.2
	2	0.1	​0.3

위 표는 이산형 확률 변수 $X$, $Y$의 결합 확률을 나타내는 표입니다. $X$가 10이고 $Y$가 1일 확률은 $f(10, 1) = P(X=10, Y=2) = 0.4$로 읽을 수 있습니다. 결합 확률도 마찬가지로 확률의 성질을 가지므로, 모든 경우의 확률을 다 더하면 1이 됨을 알 수 있습니다. (0.4+0.2+0.1+0.3=1)

 

주변 확률 분포(Marginal Probability Distribution)

확률 변수 $X$, $Y$의 결합 확률 질량 함수 $f(x, y)$를 이용하면 $X$, $Y$각각의 확률 질량 함수를 유도할 수 있으며, 이 경우의 각 확률 변수의 확률 질량 함수 $g(x)$와 $h(y)$를 '주변 확률 질량 함수 (연속형 : 주변 확률 밀도 함수)'라고 부릅니다.

위 표를 통해서 예를 들어보겠습니다. 만약 $X=10$이 나올 확률이 궁금하다면, $X=10$이 나오는 모든 경우의 확률, 즉, $X=10$이 나올 수 있는 모든 $Y$의 경우를 다 더하기만 하면됩니다. 따라서, $$ \begin{align} g(10) & = f(10, 1) + f(10, 2) = 0.4 + 0.1 = 0.5 \nonumber \\ g(20) & = f(20, 1) + f(20, 2) = 0.2+0.3 =0.5 \nonumber \end{align}$$임을 알 수 있습니다. $Y$에 대해서도 동일한 방법으로 확률 함수를 구할 수 있습니다. $$ \begin{align} h(1) & = h(10, 1) + h(20, 1) = 0.4 + 0.2 = 0.6 \nonumber \\ h(2) & = h(10, 2) + h(20, 2) = 0.1 + 0.3 = 0.4. \end{align}$$ 정리하면 $$ g(x) = \left\{ \begin{array}{cc} 0.5 & x=10 \\ 0.5 & x=20 \end{array} \right.  \quad  \,\, h(x) = \left\{ \begin{array}{cc} 0.6 & y=1 \\ 0.4 & y=2 \end{array} \right. $$와 같고 $g(x)$, $h(y)$는 표에서 주변, 가장자리를 이용하여 정보를 얻을 수 있기 때문에 주변 확률 질량 함수하는 이름이 붙여졌습니다. 

 

조건부 확률과 독립

마지막으로 결합 확률 분포의 조건부 확률과 독립에 대해서 얘기해보겠습니다. 위 표에서 $Y = 1$라는 사실을 알고 있을 때, $X=10$일 확률을 구하는 상황을 가정해봅시다. 이 때 $P(X = 10)$의 값은 더 이상 0.5가 아닐겁니다. 우선 $Y=1$일 경우로 표본 공간을 축소하고, 해당 공간 내에서 $X=10$일 확률이 얼만큼의 비율을 차지하고 있는지를 알아야 합니다.

$Y=1$로 표본 공간을 축소하고 그 안에서 $X=10$이 차지하는 비율을 구해야 한다.

이를 수식으로 써보면 아래와 같습니다. $$\begin{align} P(X=10 | Y=1) & = \frac{P(X=10, Y=1)}{P(Y=1)} \nonumber \\ & = \frac{P(X=10, Y=1)}{P(X=10, Y=1) + P(X=20, Y=1)} \nonumber \\ & = \frac{0.4}{0.4 + 0.2} \nonumber \\ & = \frac{2}{3}. \nonumber \end{align}$$따라서, $Y=1$일 때, $X=10$일 확률은 2/3임을 알 수 있습니다. 이를 통해 $Y = y$일 때, $X = x$일 조건부 확률을 아래와 같이 쓸 수 있습니다. $$ P(X=x | Y=y) = \frac{P(X=x, Y=y)}{P(Y=y)}. $$

그렇다면 두 확률 변수 $X$와 $Y$는 독립일까요? 두 확률 변수가 독립이라고 말하기 위해서는 모든 $x \in X$, $y \in Y$에 대해서 아래 조건 중 하나만 만족하면 됩니다. (아래 두 조건은 서로 동치입니다.) $$ \begin{align} 1. \quad & P(X=x | Y=y) = P(X=x) \nonumber \\ 2. \quad & P(X=x, Y=y) = P(X=x]P(Y=y). \nonumber \end{align} $$다시 말하면, $X=x$일 확률이 $Y=y$로 축소된 표본 공간에서의 $X=x$일 확률과 같다면, $X$와 $Y$는 서로 독립이라고 말합니다. 따라서, 위 경우에서 $P(X = 10 | Y = 1) = 2/3 \neq 1/2 = P(X=10)$이므로 두 확률 변수 $X$와 $Y$는 서로 독립이 아닙니다.

 

이번 포스팅에서는 두 확률 변수의 결합 분포에 대해 알아보았습니다. 추가로 위 내용은 n개의 확률 변수에 대해서도 똑같이 성립이 된다는 말을 마지막으로 글을 마치도록 하겠습니다. 물론 틀은 간단해도 다루는 데이터의 양이 많아 굉장히 복잡해지겠지만요.. ㅠ