[Discrete RV] Expected Value
2012. 2. 6. 01:34
Averages
흔히 말하는 평균(average)은 전체 숫자의 합을 개수로 나눈것을 말한다.
하지만 평균에는 몇 가지 종류가 있는데, 그 중 여기서는 mode, median, mean의 세가지에 대해 짚고 넘어가겠다.
mode는 '최빈값'이라는 의미를 가지고 있다. 즉, 가장 빈번하게 나타나는 숫자를 나타낸다.
Mode
Random variable X의 mode x_mod는 다음과 같이 정의된다.
여기서는 outcome들 중 확률이 가장 높은 x_mod 값을 mode라고 할 수 있다.
다만 mode값이 하나 이상이 될 수 있으며,
sample space의 구성이 숫자로 되어 있지 않더라도 mode를 구할 수 있다.
Median
Random variable X의 median x_med는 다음과 같이 정의된다.
![a~number~x_{med} ~that~satisfies~P[X<x_{med}]= P[X>x_{med}]](https://t1.daumcdn.net/cfile/tistory/1502FE464F2E90EE01){kind=small}
한편, median은 '중앙값'이라는 뜻을 가지고 있으며,
여러가지 outcome들 중에 수치상으로 가운데 있는 숫자를 나타낸다.
mode와는 달리 sample space가 숫자로 있어야한다.
만약 sample space의 outcome 개수가 홀수라면 가운데 있는 하나의 outcome이 median 값이 되지만,
짝수라면 median이 2개가 될 수 있다.
마지막으로 mean은 우리가 흔히 사용하는 '평균'의 의미를 뜻한다.
또한 확률에서는 'expected value' 또는 'expectation'이라는 단어를 쓴다.
Expected Value (Mean)
Random variable X의 expected value는 다음과 같이 정의한다.
![E[X]=\mu_X=\sum_{x\in S_X} xP_X(x)](https://t1.daumcdn.net/cfile/tistory/1729863C4F2E920D2C){kind=small}
이후의 설명에서는 거의 대부분 expected value라는 용어를 사용하며,
사용빈도가 높은 만큼 E[X] 또는 μ_X와 같은 표현을 많이 사용하게 될 것이다.
(E[X]의 E는 'e'xpected value의 e에서 따온 것이다.)
여기서는 sample average의 개념을 이야기할 필요가 있는데,
어떤 experiment를 n번 수행해서 얻은 평균을 sample average m_n이라고 한다.
이 n번의 experiment에서 특정 outcome x가 나올 확률은
experiment 횟수 n으로 outcome이 나온 횟수 x를 나눈 숫자가 될 것이다. (=x/n)
n의 횟수를 무한대로 늘리게 되면 그는 곧 PMF 함수에 x를 넣은 결과, 즉 P_X(x)와 같게 된다.
다시 말해서 m_n을 무한대로 보내면 위의 expected value의 정의에서 볼 수 있듯이,
expected value가 나오게 된다. 다시말해, 어떤 experiment를 계속 수행하게 되면,
결론적으로는 우리의 기대값 (expected value)가 나오는 것이다.
그러면 이제 앞에서 다루었던 6가지 discrete RV의 expected value는 어떻게 나오는지 살펴보자.
Expected Value of Discrete RVs
![\begin{array}{rl} Bernoulli(p) : &E[X] = p \\ Geometric(p) : &E[X] = 1/p \\ Binomial(n,p) : &E[X] = np \\ Pascal(k,p) : &E[X] = k/p \\ Discrete ~Uniform(k,l) : &E[X] = (k+l)/2 \\ Poisson(p) : &E[X] = \alpha \end{array}](https://t1.daumcdn.net/cfile/tistory/1809F0494F2E98992C)
Bernoulli RV의 경우 경우의 수가 두 가지 뿐이다. 게다가 0과 1뿐이므로, E[X] = 0 (1-p) + 1(p) = p 이다.
Geometric RV의 경우 다음과 같이 증명이 된다.
![E[X]=p\sum_{x=1}^{\infty}xq^{x-1}=\frac{p}{q}\sum_{x=1}^{\infty}xq^{x}=\frac{p}{q}\frac{q}{1-q^2}=\frac{p}{p^2}=\frac{1}{p}](https://t1.daumcdn.net/cfile/tistory/186412424F2E99B13E){kind=small}
여기서의 q = 1-p이며 수식을 간단하게 하기 위해서 사용되었다.
그저 expected value의 정의에 geometric RV의 정의를 대입한 결과다.
Binomial RV의 경우는 Bernoulli 시행을 여러번 한 것이 결국 binomial RV가 되므로,
단순히 Bernoulli RV의 E[X]에 n을 곱한것, 즉 np가 된다.
Pascal RV의 경우는 아래와 같이 증명이 가능하다.
![\begin{array}{rl} E[X]&=\sum_{x=1}^{\infty}x\left( \frac{(x-1)!}{(k-1)!(x-k)!} \right)p^kq^{x-k} \\&=\sum_{x=0}^{\infty}\left( \frac{x!}{(k-1)!(x-k)!} \right)\left( \frac{k}{k} \right) p^kq^{x-k} \\&=k\sum_{x=0}^{\infty}\left( \frac{x!}{(k)!(x-k)!} \right)p^kq^{x-k} \\&= \frac{k}{p}\sum \begin{pmatrix} x\\ k \end{pmatrix} p^{k-1}q^{x-k} \\&=\frac{k}{p}~~~~~~~~~~~~ (\because \sum \begin{pmatrix} x\\ k \end{pmatrix} p^{k-1}q^{x-k}=1) \end{array}](https://t1.daumcdn.net/cfile/tistory/1175E0414F2E9E4E19)
Discrete Uniform RV의 경우는 각 끝점에 있는 값들을 2로 나눈 값이 expected value가 된다.
여기서는 굳이 증명하지 않는다.
Poisson RV의 증명은 다음과 같이 할 수 있다.
![\begin{array}{rll} E[X]&=\sum_{x=0}^{\infty}xP_X(x) = \sum_{x=0}^{\infty}x\frac{\alpha^x}{x!}e^{-\alpha}& \\&=\alpha \sum_{x=0}^{\infty}x\frac{\alpha^{x-1}}{x!}e^{-\alpha}& \\&=\alpha \sum_{x=1}^{\infty}\frac{\alpha^{x-1}}{(x-1)!}e^{-\alpha}& \\&=\alpha \sum_{l=0}^{\infty}\frac{\alpha^{l}}{(l)!}e^{-\alpha} &(\because ~let~ l=x-1) \\&=\alpha \sum_{l=0}^{\infty}\frac{\alpha^{l}}{(l)!}e^{-\alpha} &(\because~e^\alpha=\frac{\alpha^{l}}{(l)!}) \\&=\alpha& \end{array}](https://t1.daumcdn.net/cfile/tistory/130E9B504F2EA17C17)
이것으로 6가지 discrete RV의 expected value와 그 증명을 마쳤다.
Expected Value of a Derived RV
Y = g(X)일때 E[Y]는 다음과 같이 구할 수 있다.
![E[Y]=\mu_Y=\sum_{x\in S_X}g(x)P_X(x)](https://t1.daumcdn.net/cfile/tistory/132EE0394F2EA33907){kind=small}
예전에도 언급했듯, 어떤 RV는 다른 RV의 관계식으로 정의될 수 있다.
다른 RV를 통해 정의된 RV의 expected value는 위와같이 구할 수 있다.
증명은 다음과 같이 할 수 있다.
![\begin{array}{rl} \\E[Y]&=\mu_Y=\sum_{y\in S_Y}yP_Y(y) \\&=\sum_{y\in S_Y}y\sum_{x:g(x)=y}P_X(x) \\&=\sum_{y\in S_Y}\sum_{x:g(x)=y}g(x)P_X(x) \\&=\sum_{x\in S_X}g(x)P_X(x)\end{begin}](https://t1.daumcdn.net/cfile/tistory/12454D4C4F2EA47B1E)
마지막 부분에서는 g(x)가 각각의 가능한 outcome x를 y로 변환하므로,
두개의 summation을 하나로 합치는 것이 가능하다.
이를 이용해서 두 가지 다른 정리를 얻어낼 수 있다.
Theorem 1
어떤 임의의 random variable X에 대해서 다음이 성립한다.
![E[X-\mu_X]=0](https://t1.daumcdn.net/cfile/tistory/1420C94B4F2EA5A311){kind=small}
증명은 다음과 같이 할 수 있다.
![\\Let~g(X)=X-\mu_X, ~then\\ \begin{array}{rl} E[g(X)]&=\sum_{x\in S_X} (x-\mu_X)P_X(x)\\&=\sum_{x\in S_X} xP_X(x)-\mu_X\sum_{x\in S_X}P_X(x) \\&=\mu_X - \mu_X \cdot 1 = 0 \end{array}](https://t1.daumcdn.net/cfile/tistory/1519C53C4F2EADF507)
Expected value의 정의와, PMF의 정리를 이용해서 곧바로 증명이 되었다.
Theorem 2
어떤 임의의 RV인 X에 대해서 다음이 성립한다.
E[aX+b] = aE[X]+b
마찬가지로 expected value의 정의와 Expected Value of a Derived RV 정리를 이용하면 곧바로 증명이 된다.
Summation 내부의 곱셈과 덧셈을 밖으로 빼낼 수 있다는 것을 생각해 보면 될 것이다.