[Pairs of RV] Iterated Expectation

개요

이전의 conditional expected value E[X|Y]의 expected value E[E[X|Y]]은 꽤 흥미로운 결과로 마무리 된다.
우리는 E[E[X|Y]]를 두 단계에 걸쳐 얻을 수 있다.
먼저 g(y) = E[X|Y = y]를 계산하고, derived function에 대한 expected value, 즉 E[g(Y)]를 구하는 것이다.
이 두 단계의 과정을 iterated expectation이라고 한다. (Iterate는 '반복되다'라는 뜻이다.)

정리 1

E[E[X|Y]] = E[X]

Iterated expectation의 결과는 곧 X의 expected value와 같다.
증명은 아래와 같이 할 수 있다.

먼저 expected value의 정리에 따라서 위와 같이 쓸 수 있다.
g(x) 자리에 E[X|Y = y]를 넣은 것이라고 볼 수 있다.
다음에는 conditional expected value의 정의를 이용해,

Integral의 순서를 바꾸고 정리하면,

이 된다. 이제 앞서 conditional PDF에서 다룬 정리들을 이용하면

위와 같이 정리가 완료된다.

정리 2

E[E[g(X)|Y]] = E[g(X)]

위 정리를 g(X)에 대해서도 적용해 볼 수 있다.
Discrete와 continuous에 대해서 다음과 같이 적용시킬 수 있다.

LaTeX Codes

E[E[X|Y]] = \int_{-\infty}^{\infty} E[X|Y=y]f_Y(Y) ~dy

E[E[X|Y]] = \int_{-\infty}^{\infty} \left( \int_{-\infty}^{\infty}  xf_{X|Y}(x|y)~dx \right)f_Y(y) ~dy

E[E[X|Y]] = \int_{-\infty}^{\infty}x  \int_{-\infty}^{\infty}  f_{X|Y}(x|y)f_Y(y)~dy ~dx

\begin{array}{rll}E[E[X|Y]] &=& \int_{-\infty}^{\infty}x  \int_{-\infty}^{\infty}  f_{X,Y}(x,y)~dy ~dx\\&=& \int_{-\infty}^{\infty}x  f_{X}(x) ~dx \\ &=& E[X]\end{array}

\begin {array}{ll}Discrete:&E[g(X)] = E[E[g(X)|Y]] = \sum_{y\in S_Y}E[g(X)|Y = y] P_Y(y)\\

Continuous:&E[g(X)] = E[E[g(X)|Y]] = \int_{-\infty}^{\infty}E[g(X)|Y=y]f_Y(y)~dy \end{array}