[Mixed RV] Conditioning

Conditional PDF Given an Event

Random variable X와 그의 PDF f_X(x)에 대해서 P[B] > 0인 event B ⊂ S_X 에 대해서,
event B에 대한 X의 conditional PDF는 다음과 같이 정의한다.

일반적으로 어떤 event B가 발생했을 때,
우리는 random variable X에 대해 conditional probability model을 정의할 수 있다.
함수 f_X|B(x)는 X와 관련되어 새롭게 만들어진 random variable에 대한 probability model이라고 할 수 있다.
따라서, 이는 다른 여타 PDF와 같은 성질을 갖게된다.
예를 들어 모든 x 범위에 대한 integral값은 역시 마찬가지로 1이다.
또한, 어떤 범위의 conditional probability를 구하려면 마찬가지로 해당 범위를 integral하면 된다.
함수를 구하는것은 다만 P[B]로 나누면 되므로 어렵지 않지만,
함수의 범위를 다시 고려해야 한다는 사실을 잊지 말아야 한다.

Original PDF from Conditional PDF

어떤 event space {B_i}와 각 event space의 conditional PDF에 대해서 위의 식이 성립한다.

즉, 개별적인 event space와 그의 conditional PDF를 모두 뭉치면,
원래 최초의 PDF를 얻게 된다. 
Event space라는 의미는 원래의 PDF의 범위를 모두 포함하므로,
어느 하나라도 모르면 원래의 PDF를 구할 수 없다. (다른 조건을 주어서 풀 수 있게 하는 방법은 논외로 한다.)
다음 예제를 살펴보자.

어떤 binary signal transmitter에서 symbol 0이 전송되었을 때의 X는 Gaussian(-5,2) RV이며,
symbol 1이 전송되었을 때의 X는 Gaussian(5,2) RV라고 하자.
각각의 symbol이 발생할 확률은 "equally likely"하다고 할 때, X의 PDF를 구하라.

위 예제는 통신 시스템에서 binary 신호를 전송하는 상황을 modeling한 것이다.
Equally likely는 곧 두 개(혹은 그 이상)의 신호가 발생할 확률이 같다는 것을 의미한다.
잘 읽어보면 symbol 0과 1이 발생했을 때의 conditional probability model이 각각 따로 언급되어있다.
Event space는 symbol 0 또는 1이 발생할 두 가지 뿐이므로, 위에서 배운대로 하면 된다.
먼저 각각의 conditional PDF를 써 보면, 
B_0과 B_1을 symbol 0, 1이 발생하는 event라고 놓았을 때,

가 된다. 앞서 말햇듯이 equally likely 이므로 P[B_0] = P[B_1] = 1/2 이므로, 정리에 의해

위와 같이 정리해 볼 수 있다.

Conditional Expected Value Given an Event

{x ∈ B} 에 대해서 X의 conditional expected value는

g(X)의 conditional expected value는

Conditional variance는

와 같이 구한다. 마지막으로 conditional standard deviation은 Var[X|B]의 제곱근이다.

Conditional variance와 conditional standard deviation은 상당히 쓸만한데,
event B에서의 RV가 어느정도로 흩어져 있는지 파악할 수 있다.
게다가, conditional standard deviation이 overall standard deviation에 비해 매우 작으면,
event B가 X의 uncertainty(불확실성)를 많이 줄였다고 할 수 있다.
왜냐하면 event B라는 어떠한 체를 통해서 일반적인 값이 아닌 outlier (특이값)들을 제거했기 때문이다.

예를 들어 어떤 대부분 학생의 시험성적 분포가 70~90점 사이라고 할 때,
10점이라는 성적은 평균에서 상당히 많이 벗어나 있다.
1~2명만이 이러한 성적을 갖고 있다면, 전체적인 variance나 standard deviation은 상당히 커질 수 밖에 없다.
하지만 이러한 outlier값들을 제거하면 variance나 standard deviation은 상대적으로 작아진다.
어떠한 event를 잘 설정함으로써 일반적인 값들의 분포가 어떻게 되는지를 파악할 수 있다.

LaTeX Codes

f_{X|B}(x) = \begin{cases} \frac{f_X(x)}{P[B]}&x\in B \\ 0 & otherwise \end {cases}

f_X(x) = \sum_i f_{X|B_i}(x) P[B_i]

\\f_{X|B_0}(x) = \frac{1}{2\sqrt{2\pi}}e^{-(x+5)^2/8}\\f_{X|B_1}(x) = \frac{1}{2\sqrt{2\pi}}e^{-(x-5)^2/8}

\begin{array}{rll}

f_X(x)&=&f_{X|B_0}(x)P[B_0]+f_{X|B_1}(x)P[B_1]\\

&=&\frac{1}{2\sqrt{2\pi}}e^{-(x+5)^2/8}(1/2)+ \frac{1}{2\sqrt{2\pi}}e^{-(x-5)^2/8}(1/2)\\

&=& \frac{1}{4\sqrt{2\pi}}\left(e^{-(x+5)^2/8}+e^{-(x-5)^2/8}\right)

\end{array}

E[X|B]=\int_{-\infty}^{\infty} xf_{X|B}(x) dx

E[g(X)|B]=\int_{-\infty}^{\infty} g(x)f_{X|B}(x) ~dx

Var[X|B]=E\left[ \left( X-\mu_{X|B} \right)^2|B \right] = E\left[X^2|B\right] - \mu_{X|B}^2