[Discrete RV] Conditional PMF and Expected Value

Conditional Probability Mass Function

어떤 event A (P[A]>0)에 대해서, random variable X의 conditional PMF는 다음과 같이 정의된다.

이전 포스트에서 우리는 conditional probability에 대해 다뤘다.
이는 PMF에도 적용할 수 있다.
즉, 어떤 특정 event가 발생했을 조건하에 probability mass function가 정의될 수 있다.
이전의 theorem을 이용하면, 여러개의 conditional PMF를 이용해서 overall PMF를 이끌어 낼 수 있다.

어떤 random variable X에 대해 event space B_1, B_2, ... , B_m 이 존재할때 다음이 성립한다.

이전에 다뤘던 law of total probability를 이용하면 곧바로 증명이 된다.
전체의 PMF를 구하려면, 여러 conditional PMF의 각각에 event가 발생할 확률을 곱해서 모두 더해주면 된다.

한편 전체 PMF를 알고 있고, 특정 event의 발생 확률을 알고 있다면,
다음과 같이 그 event의 conditional PMF를 구할 수 있다.

Conditional probability의 정의와 conditional PMF의 정의를 조합하면 된다.
위 식을 잘 살펴보면 어떤 outcome x가 B에 속하지 않은 경우에 대해서는
조건부 확률이 정의되지 않는다는 것을 알 수 있다.
그 이외의 경우에 대해서는 전체 PMF에서 event B의 확률만큼 나눠진 수치의 확률을 갖게된다.
P[B]는 1 이하의 값을 가지게 되므로 결과적으로는 확률이 적어도 낮아지는 일은 없다.

관련 정리

이전의 PMF에 관한 설명에서 등장했던 것과 흡사하다. 다만 conditional PMF를 위한 notation들이 추가되었다.

(a)는 어떤 event B에 속한 임의의 x에 대해서 conditional PMF가 가질 수 있는 값은 0 이상이다.

(b)의 경우 event space에 속한 outcome이 가질수 있는 모든 probability 수치의 합은 1이다.

(c)는 어떤 event C가 다른 event B에 속하는 경우,
P[C|B]는 set C의 outcome들이 conditional PMF에서 같는 숫자의 합과 같다.

Conditional Expected Value

어떤 주어진 조건 B에 대해 random variable X의 conditional expected value는 다음과 같이 정의된다.

사실 별다를것이 없는데,
단지 PMF가 conditional PMF로 바뀌었고, outcome이 B에 속해있어야 한다는 것 뿐이다.

한편, 어떤 random variable X가
event B_1, B_2, ... , B_m의 event space로 이루어진 experiment의 결과를 나타낼 때 다음이 성립한다.

이는 conditional expected value와 해당 event의 확률을 곱한것을 모두 더한것이
곧 전체 expeceted value와 같다는 의미다.
위의 conditional PMF의 정리와 expected value의 정의를 이용하면 증명이 가능하다.

Expected value 이외에 variation 와 standard deviation에 대해서도
conditional variation, conditional standard deviationd이 존재하며, 다음과 같이 구할 수 있다.

마지막으로, 어떤 random variable Y가 다른 random variable X로 Y = g(X)와 같이 정의될 때 다음이 성립한다.

여기서도 마찬가지로, 특별히 다른점 없이 conditional notation이 적용되었을 뿐이다.

LaTeX Codes

P_{X|A}(x) = P[X=x|A]

P_X(x) = \sum_{i=1}^m P_{X|B_i}(x)P[B_i]

P_{X|B}(x) = \begin{cases} \frac{P[X=x,B]}{P[B]} = \frac{P_X(x)}{P[B]} & x \in B \\ 0 & otherwise \end {cases}

\\ (a)~For~any~x\in B, P_{X|B}(x) \ge 0

\\(b)~\sum_{x\in B}P_{X|B}(x) =1

\\(c)~For~any~event~C\subset B, P[C|B]=\sum_{x\in C} P_{X|B}(x)

E[X|B] = \mu_{X|B} = \sum_{x \in B} xP_{X|B}(x)

E[X] = \sum_{i=1}^m E[X|B_i]P[B_i]

\\ ~~~From~the~definition~of~the~expected~value:~E[X] = \sum_x xP_X(x)

\\ \begin{array}{rll} E[X] &= &\sum_x \sum_{i=1}^m P_{X|B_i} (x) P[B_i]

\\ &=& \sum_{i=1}^m P[B_i] \sum_x P_{X|B_i} (x) 

\\ &=& \sum_{i=1}^m P[B_i] E[X|B_i] \end{array}

\\ Var[X|B] = E[X^2|B] - E[X|B]^2

\\ \sigma_{X|B} = \sqrt{Var[X|B]}

E[Y|B] = E[g(X)|B] = \sum_{x \in B} g(x)P_{X|B}(x)