[Pairs of RV] Conditioning by a Random Variable

Conditional PMF

이전 포스트에서 어떤 event를 가지고 conditioning을 했었다.
그렇다면, 만약 어떤 event B가 {X = x}이거나 {Y = y}와 같은 case라면 어떨까.

P_Y(y) > 0 인 event Y = y에 대한 X의 conditional PMF는 다음과 같이 정의된다. 

이것의 의미는 Y가 가질 수 있는 각각의 값에 대해, 각각의 conditional PMF가 정의될 수 있다는 것이다.
한편, X와 Y의 joint PMF와 conditional PMF의 관계는 다음과 같다.

이에 대한 증명은,

와 같이 conditional PMF의 정의로 부터 얻을 수 있다.
Notation 자체가 상당히 머리에 와닿지 않는 편인데, 예제를 살펴보면 좀 더 이해가 쉬울 것 같다.

X, Y에 대한 joint PMF가 위와 같이 정의될 때, 
x ∈ S_X인 X = x에 대한 Y의 conditional PMF를 구해보자.
먼저 앞서 언급한 정의, 정리를 이용하기 위해서는 joint PMF로 부터 marginal PMF인 P_X(x)를 구해야 한다.

동일한 x값에 있는 점들의 확률값을 모두 더해보면, 모두가 각각 1/4임을 알 수 있다.
따라서,

이고, 위의 정리로 부터,

를 얻는다. 
이제 각각의 x ∈ {1, 2, 3, 4} 에 대해서 위의 conditional PMF는 각각 다른 PMF가 된다.

즉 각각의 x값에 대해서, conditional PMF가 각각 새로 다르게 정의되는 것이다.

Conditional PDF

한편 continuous random variable에 대해서는 conditional PDF를 구할 수 있다.
여기서는 base가 되는 probability의 한 지점의 값이 0이기 때문에 PMF와 같이 P[]의 형태 대신
다음과 같은 정의를 사용한다.

f_Y(y)>0 인 y에 대해서, {Y = y}에 대한 X의 conditional PDF는 다음과 같이 정의된다.

실제적용은 conditional PMF의 경우와 동일하다.

X와 Y의 joint PDF가 아래와 같이 정의된다고 하자. 

이 joint PDF를 좌표평면 위에 그려보면,

위와 같이 그릴 수 있다.
이 때, 0 ≤ x ≤ 1의 범위에서 conditional PDF f_Y|X(y|x)와
0 ≤ y ≤ 1의 범위에서 conditional PDF f_X|Y(x|y)를 구해보자.

앞서와 마찬가지로, 먼저 각각의 marginal PDF를 구해야 한다.

정의를 이용해서 conditional PDF를 각각 구하면,

이 되겠다.

Conditional Expected Value of a Function

Continuous Random Variable X와 Y, 그리고 f_Y(y)>0을 만족하는 y에 대해서,
event Y = y에 대한 g(X, Y)의 conditional expected value는 다음과 같이 정의된다.

여기서의 special case로,

를 생각해 볼 수 있는데, E[X|Y = y]는 지금까지와의 conditional expected value보다 조금 더 복잡하다.
이 경우에는, y의 값에 따라서 E[X|Y=y]의 값이 달라진다. 다시 말하면 어떤 y의 함수의 형태가 되는 것이다.
또한 E[X|Y = y]로 부터 말미암아 E[X|Y]의 정의도 얻을 수 있다.

Conditional Expected Value

Conditional Expected Value E[X|Y]는 Y = y일 때, E[X|Y] = E[X|Y = y]를 만족하는
random variable Y의 함수로 정의된다.

앞서 다룬 예제를 통해 이를 다시 살펴보자.

여기서 밑의 f_X|Y(x|y)에 대해 E[X|Y = y]와 E[X|Y]를 구해보자.
정리한 것을 그대로 이용하면,

위와 같이 구할 수 있다.