[Continuous RV] Expected Values

정의 및 유도

Continuous RV의 expected value는 다음과 같이 정의된다. 

위 식의 유도는 discrete RV인 Y로 부터 시작하도록 하자.
Discrete RV인 Y의 expected value는 다음과 같이 나타낼 수 있다. 

나올 수 있는 value가 각각의 확률로 곱해진 합이 곧 expected value가 됨은 이전 포스트에서 이미 배웠다.
Continuous RV에 이를 직접적으로 적용하기에는 불충분하다.
각각의 X의 특정 값이 일어날 확률은 0이기 때문이다. 
(PMF가 continuous RV에서 소용이 없다는 것은 이전에 여러번 언급이 되었다.)
따라서 우리는 discrete RV에서의 expected value의 정의를 continuous RV로 확장시킬 다른 방법을 찾아야 한다.
먼저, 어떤 작은 Δ에 대해서 X와 Y의 관계를 다음과 같이 표현할 수 있다.

여기서 분수 양 옆의 표시는 'floor'라고 하는 것으로 이전 포스트의 'ceil'과 정반대 의미다.
간단히 말하면 내림 표시가 된다. 이 식의 의미는 간단하다.
X를 어떤 일정한 간격으로 나누고, 그 간격 내의 실수를 어떤 특정한 값으로 threshold 한 것이다.
일명 quantizing이라고 할 수 있으며, X의 approximation의 결과로 Y가 나온 것으로 생각할 수 있다.
셀수 없이 많은 outcome이 존재하는 X에서 셀 수 있는 outcome들로 이루어진 Y로의 변환이다.

여기서 Y = kΔ의 값을 가질 수 있도록 하는 X의 범위는 kΔ ≤ X < kΔ + Δ 라고 할 수 있다.
X의 범위가 특정지어지지 않았으므로, Y 역시 음의 무한대에서 양의 무한대까지 outcome의 범위를 가질 수 있으며,
각 outcome은 Δ의 배수임을 예상해 볼 수 있다. 따라서 이 때 Y의 expected value인 E[Y]를 구해보면,

위와 같이 표시해 볼 수 있다.
Δ가 0에 근접할 수록 각 outcome간의 간격은 충분히 줄어서 X에 가깝게 된다.
따라서 E[X]는 PDF에서와 같이 다음의 식으로 쓸 수 있다.

이제 Δ를 0으로 보내면, summation은 integral로 converge하여 최종적으로
expected value의 정의가 된다.  (kΔ → x, Δ → dx)

관련 정리

어떤 continuous RV X에 관한 함수 W = g(X)에 대해서 다음이 성립한다.

Discrete RV와 비슷한 형태를 보이고있다.
응용하면 아래와 같이 variance를 구할 수 있다.

한편, 아래의 정리는 discrete RV와 완전히 같다.

위 정리는 두 가지 RV에서 모두 적용할 수 있다.