[Discrete RV] Variance and Standard Deviation
2012. 2. 9. 22:11
정의
Average 이외에 어떤 probability model을 설명할 수있는 요소로 variance와 standard deviation을 들 수있다.
이미 '분산'과 '표준편차'로 익숙한 것들이다. 먼저 어떻게 정의되는지 살펴보자.
Variance
![Var[X] = E\left[(X-\mu_X)^2\right]](https://t1.daumcdn.net/cfile/tistory/163AA63E4F3399290C){kind=small}
Standard Deviation
![\sigma_X = \sqrt{Var[X]}](https://t1.daumcdn.net/cfile/tistory/14604E464F33995E26){kind=small}
먼저 어떤 RV X의 variance는 VAR[X]와 같이 표현한다.
식을 살펴보면, '평균과 가능한 outcome의 차이를 제곱한 것'의 평균을 구한 것으로,
제곱을 하지 않으면 평균과 outcome의 차이가 음의 값이 나오게 되는 경우에 전체 평균이 상쇄되어,
분산, 즉, 각 outcome간의 거리가 얼만큼씩 벌어져 있는지를 나타내는 수치에 의미가 없어지게 된다.
따라서, 제곱을 해줌으로써 그 값이 항상 양수가 나오도록 한다.
(어떤 지점~지점 간의 거리를 음수로 나타내는 경우는 없다는 것을 생각해 보면 쉽다.)
한편, standard deviation (SD)의 경우에는 이런 분산의 square root를 구한 것이다.
여기서 떠오르는 의문은, outcome의 가지수가 무수히 많을 경우에 variance를 구하려면
일일이 다 계산을 해주어야 하느냐는 것이다.
모든 outcome에 대해 평균과의 거리를 구해야 하고, 그걸 다시 제곱한 다음, 다시 평균을 구해야한다.
하지만 다음의 공식을 이용하면 그럴 필요가 없다.
Theorem 1
![Var[X] = E[X^2] - \mu_X^2=E[X^2]-(E[X])^2](https://t1.daumcdn.net/cfile/tistory/141E2D3F4F33A88830){kind=small}
Random variable의 제곱의 평균과 RV의 expected value를 알고 있으면, variance를 구할 수 있다.
이 식의 증명은 먼저 variance의 정의와 expected value의 정의에서부터 시작하면 된다.
![\begin{array}{rll} Var[X] &=&E[(X-\mu_X)^2] \\&=&\sum_{x\in S_X} (x-\mu_X)^2P_X(x) \\&=&\sum_{x\in S_X} x^2P_X(x) - \sum_{x\in S_X}2\mu_X xP_X(x) + \sum_{x\in S_X}\mu_X^2 P_X(x) \\&=&E[X^2] - 2\mu_X \sum_{x\in S_X}xP_X(x) + \mu_X^2\sum_{x\in S_X} P_X(x) \\&=&E[X^2]-2\mu_X\cdot E[X]+\mu_X^2\cdot 1 \\&=&E[X^2]-\mu_X^2 \end{array}](https://t1.daumcdn.net/cfile/tistory/194AB0364F33AA782C)
중간에는 괄호가 제곱된 부분을 풀어서 3개의 항으로 나눈 것이며,
바로 다음에 expected value의 정의와 probability의 합이 1이라는 점 등을 이용하면, 증명이 완료된다.
매우 간단히 variance를 구할 수 있다. (물론 SD값도 마찬가지)
Theorem 2
한편 random variable Y가 다른 random variable X의 관계식 Y = g(X) = aX + b 라고 할때
Var[Y]와 Var[X]의 관계는 다음과 같다.
![Var[Y]=Var[aX +b]=a^2Var[X]](https://t1.daumcdn.net/cfile/tistory/1727774E4F33AC2415){kind=small}
수식을 쓰는 대신 논리적으로만 생각해 보면,
어떤 RV 전체에 어떤 값을 전체적으로 더해 준다고 하더라도
outcome 간의 간격이 좁아지거나 넓어지지는 못하다.
즉. 값들이 분포되어있는 정도에 변화가 생기지 않기 때문에 variance 역시 변화하지 않음을 생각할 수 있다.
위 수식에 대해서 증명을 하는 것은 expected value에서의 theorem을 이용하면 된다.
![\begin{array}{rll} Var[Y]&=&E[Y^2]-(E[Y])^2 \\&=&E[(aX+b)^2]-(E[aX+b])^2 \\&=&E[a^2X^2+2abX+b^2]-(aE[X]+b)^2 \\&=&E[a^2X^2]+E[2abX]+E[b^2]-(a^2E[X]^2+2abE[X]+b^2) \\&=&a^2E[X^2]+2abE[X]+b^2-(a^2E[X]^2+2abE[X]+b^2) \\&=&a^2(E[X^2]-E[X]^2) \\&=&a^2Var[X] \end{array}](https://t1.daumcdn.net/cfile/tistory/2010EF3E4F33AE1219)
증명과정이 길어보이긴 하나 이전에 배웠던 정리들을 기억하고 있다면 별로 어렵지 않다.
Variance of Discrete RVs
![\begin{array}{rl} Bernoulli(p) : &Var[X] = p(1-p) \\ Geometric(p) :&Var[X] = (1-p)/p^2 \\ Binomial(n,p) : &Var[X] = np(1-p) \\ Pascal(k,p) : &Var[X] = k(1-p)/p^2 \\ Discrete ~Uniform(k,l) : &Var[X] = (l-k)(l-k+2)/12 \\ Poisson(p) : &Var[X] = \alpha \end{array}](https://t1.daumcdn.net/cfile/tistory/180C64394F33B04F11)
6개의 기본적인 discrete RV의 variance는 위와 같이 구할 수 있다.
각각의 증명은 다음과 같다.
Bernoulli (p)
![\begin{array}{rll} Var[X] &=& E[(X - E[X])^2] \\ &=& \left({1 - p}\right)^2 \cdot P_X(1) + \left({0 - p}\right)^2 \cdot P_X(0) \\ &=& \left({1 - p}\right)^2 \cdot p + { p}^2 \cdot \left({1 - p}\right) \\ &=& p - 2p^2 + p^3 + p^2 - p^3 \\ &=& p - p^2 \\ &=&p \left({1 - p}\right) \end{array}](https://t1.daumcdn.net/cfile/tistory/1868A8414F33B70828)
Variance의 theorem을 이용하지 않고 정의를 그대로 이용했다.
가능한 outcome이 2가지 뿐이기 때문이다.
Geometric (p)
Summation 내부에서 x^2을 계산하기가 까다롭기 때문에
x^2 = x(x+1) - x 로 변형하는 방법을 사용하면 E[X^2]을 비교적 쉽게 구할 수 있다. (여기서 q = 1 - p이다.)
Binomial (n,p)
![\\\begin{array}{rll} E[X^2] &=&\sum_{x = 0}^n x^2 \binom n x p^x q^{n-x} \\ &=& \sum_{x = 0}^n x n \binom {n - 1} {x - 1} p^x q^{n-x} \\ &=& n p \sum_{x = 1}^n x \binom {n - 1} {x - 1} p^{x-1} q^{\left({n-1}\right)-\left({x-1}\right)} \\ &=& n p \sum_{j = 0}^m \left({j+1}\right) \binom m j p^j q^{m-j} \\ &=& n p \left({\sum_{j = 0}^m j \binom m j p^j q^{m-j} + \sum_{j = 0}^m \binom m j p^j q^{m-j} }\right) \\ &=& n p \left({\sum_{j = 0}^m m \binom {m-1} {j-1} p^j q^{m-j} + \sum_{j = 0}^m \binom m j p^j q^{m-j} }\right) \\ &=& n p \left({\left({n-1}\right) p \sum_{j = 1}^m \binom {m-1} {j-1} p^{j-1} q^{\left({m-1}\right)-\left({j-1}\right)} + \sum_{j = 0}^m \binom m j p^j q^{m-j} }\right) \\ &=& n p \left({\left({n-1}\right) p \left({p + q}\right)^{m-1} + \left({p + q}\right)^m}\right) \\ &=& n p \left({\left({n-1}\right) p + 1}\right) \\ &=& n^2 p^2 + n p \left({1 - p}\right) \end{array} \\\\ ~~~then,\\ \begin{array}{rll} Var[X] &=& E[X^2] - E[X]^2 \\ &=& n p \left({1-p}\right) + n^2 p^2 - \left({np}\right)^2 \\ &=& n p \left({1-p}\right) \end{array}](https://t1.daumcdn.net/cfile/tistory/1664EF404F33B96005)
중간에 j = k - 1, m = n - 1 로 치환되었다.
Pascal RV를 증명할 때 사용되었던 식,
즉, summation과 combination의 조합을 잘 살펴보면
모든 outcome이 나올 확률을 더한 결과와 같다는 결론을 여기서도 사용했다.
나머지 부분은 약간의 계산을 거치면 구할 수 있다.
Pascal (k,p)
Pascal RV의 variance를 그냥 바로 구하기가 쉽지 않아서
MGF (moment generating function) 라고 하는 것을 사용하는데,
많이 이후에 다뤄지게 될 내용으로 여기서는 증명을 다루지 않는다.
지금 단계에서는 그냥 k(1-p)/p^2 이라고 외워두는 정도로 족하다.
Discrete Uniform (k,l)
![\\ ~~~Let~ n=l-x+1, \\\begin{array}{rll} E[X^2] &=& \sum_{x = 1}^n x^2 \left({\frac 1 n}\right) \\ &=& \frac 1 n \sum_{x = 1}^n x^2 \\ &=& \frac 1 n \frac{n (n+1)(2n+1)} 6 \\ &=& \frac{(n+1)(2n+1)} 6 \end{array} \\\\ ~~~then,\\ \begin{array}{rll} Var[X] &=& E[X^2] - E[X]^2 \\ &=& \frac{(n+1)(2n+1)} 6 - \frac {\left({n+1}\right)^2} 4 \\ &=& \frac {2 \left({2n^2 + 3n + 1}\right) - 3 \left({n^2 + 2n + 1}\right)} {12} \\ &=& \frac {(n - 1)(n+1)} {12} \\ &=& \frac {(l-k)(l-k+2)} {12} \end{array}](https://t1.daumcdn.net/cfile/tistory/200C73344F33C2380E)
계산의 편의를 위해서 n = l-k+1 으로 치환하여 풀었다. (여기서 n은 outcome의 가지수를 의미한다.)
비교적 간단한 증명이므로 부가설명이 필요 없을 것 같다.
Poisson (p)
![\\\begin{array}{rll} E[X^2] &=& \sum_{x \ge 0} {x^2 \frac 1 {x!} \alpha^x e^{-\alpha} } \\ &=& \alpha e^{-\alpha} \sum_{x \ge 1} {x \frac 1 {\left({x-1}\right)!} \alpha^{x-1} } \\ &=& \alpha e^{-\alpha} \left({\sum_{x \ge 1} {\left({x-1}\right) \frac 1 {\left({x-1}\right)!} \alpha^{x-1} } + \sum_{x \ge 1} {\frac 1 {\left({x-1}\right)!} \alpha^{x-1} } }\right) \\ &=& \alpha e^{-\alpha} \left({\alpha \sum_{x \ge 2} {\frac 1 {\left({x-2}\right)!} \alpha^{x-2} } + \sum_{x \ge 1} {\frac 1 {\left({x-1}\right)!} \alpha^{x-1} } }\right) \\ &=& \alpha e^{-\alpha} \left({\alpha \sum_{i \ge 0} {\frac 1 {i!} \alpha^i} + \sum_{j \ge 0} {\frac 1 {j!} \alpha^j} }\right) ~~~~~~~(\because~i = x-2,~j=x-1) \\ &=& \alpha e^{-\alpha} \left({\alpha e^\alpha + e^\alpha}\right) ~~~~~~~~~~~~~~~~~~~~~~~~~~~~~(\because~\sum_{i \ge 0} {\frac 1 {i!} \alpha^i} =e^\alpha ) \\ &=& \alpha \left({\alpha + 1}\right) \\ &=& \alpha^2 + \alpha \end{array} \\\\ ~~~then,\\ \begin{array}{rll} Var[X] &=& E[X^2] - E[X]^2 \\ &=& \alpha^2 + \alpha - \alpha^2 \\ &=& \alpha \end{array}](https://t1.daumcdn.net/cfile/tistory/164435494F33C4510A)
이전에도 설명되었던 exponential의 identity를 이용하기 위해서 식을 변형하는 방법으로 증명이 가능하다.