[Pairs of RV] Independent Random Variables
2012. 2. 29. 02:38
정의
Random variable X와 Y가 independent random variable일 필요충분조건은 다음과 같다.
이전에 다룬 independent event의 idea를
두 개의 random variable의 관계를 설명하는 과정에서 다시 도입했다.
서로에게 영향을 끼치지 않는 두 개의 random variable을 independent하다고 생각하면 된다.
어떤 joint PDF 또는 joint PMF가 주어지고 그 때의 두 random variable이 independent 한가를 살펴보려면,
먼저 각각의 marginal PDF 또는 marginal PMF를 구한다음 둘을 곱했을 때,
joint PDF 또는 joint PMF와 같은지를 살펴보면 된다.
추가 정리 1
만약 두 random variable이 independent하다면, Conditional PDF나 PMF에 다음과 같은 식이 성립한다.
일반적으로, 두 random variable의 범위를 지정하는 데 있어서,
두 random variable이 복합적으로 이용되는 경우 (예를 들어, xy ≤ 100 과 같은)에는
independent하기가 어렵다. 즉, 모든 x ∈ S_X, y ∈ S_Y에 대해서 적용되는 함수가 동일해야 한다.
Independent random variable의 해석은 곧 independent event의 해석으로 일반화 시킬 수 있다.
만약 event A, B가 independent라면, A는 B가 일어나거나 말거나 발생확률에 변화가 없다.
만약 X, Y가 independent random variable이라면,
X = x이하에서 Y의 conditional PMF 또는 conditional PDF는 모든 y ∈ S_Y에 대해서 동일하며,
Y = y이하에서 X의 conditional PMF 또는 conditional PDF는 모든 x ∈ S_X에 대해서 동일하다.
정리하면, Y = y에 대해서 conditioning을 하거나 말거나 X의 probability model에는 변동이 없다.
물론 X = x에 대해서 conditioning을 할때의 Y의 probability model 역시 마찬가지다.
추가 정리 2
Independent random variable X, Y에 대해서 다음이 성립한다.
![\begin {array}{rl} (a)&E[g(X)h(Y)]=E[g(X)]E[h(Y)]\\(b)&r_{X,Y}=E[XY]=E[X]E[Y]\\ (c)&Cov[X,Y]=\rho_{X,Y} = 0 \\(d)& Var[X+Y] = Var[X] + Var[Y]\\ (e)& E[X/Y=y]=E[X]~for~all~y\in S_Y\\(f)& E[Y/X=x]=E[Y]~for~all~x\in S_X\end {array}](https://t1.daumcdn.net/cfile/tistory/163DF9434F49279E35)
아래의 증명은 Discrete RV와 PMF에 대해서만 쓰여져 있으나,
summation을 integral로 바꾸고, PMF를 PDF로 바꾸면 곧 동일한 증명이 될 것이다.
![\\\begin {array}{llll}(a)&E[g(X)h(Y)]&=&\sum_{x\in S_X}\sum_{y\in S_Y} g(x)h(y) P_X(x) P_Y(y)\\ &&=&\left( \sum_{x\in S_X} g(x)P_X(x) \right) \left( \sum_{y\in S_Y} h(y)P_Y(y) \right)\\ &&=&E[g(X)]E[h(Y)]\end{array}\\\\~~\,(b)~~~If~g(X) = X,~h(Y)=Y,~then~r_{X,Y}=E[XY]=E[X]E[Y] \\\\~~\,(c)~~~Cov[X,Y]=r_{X,Y}-E[X]E[Y] = 0~~~~(\because (b)) \\\\\begin{array}{llll}(d-1)&Var[X+Y]&=&Var[X]+Var[Y]+2Cov[X,Y]\\ &&=&Var[X]+Var[Y] ~~~~(\because (c))\end{array} \\\\~~\,(d-2)~~~ \rho_{X,Y} = Cov[X,Y]/\sigma_X\sigma_Y = 0 ~~~~(\because (c)) \\\\\begin{array}{llll}(e)&E[X/Y=y]&=&\sum_{x\in S_X} xP_{X/Y}(x/y)\\&&=&\sum_{x\in S_X}xP_X(x) \\&&=& E[X]\end{array} \\\\\\\begin{array}{llll}(f)&E[Y/X=x]&=&\sum_{y\in S_Y} yP_{Y/X}(y/x)\\&&=&\sum_{y\in S_Y}yP_Y(y) \\&&=& E[Y]\end{array}](https://t1.daumcdn.net/cfile/tistory/16741B4E4F492B1E1D)
위 식(c)를 통해서 independent random variable이 uncorrelated random variable이라는 것을 알 수 있다.
한가지 주의할 점은, 위의 공식을 만족한다고 해서,
그것이 independend random variable 이라는 것을 증명해주는 것은 아니다.
예를 들어 Cov[X, Y] = 0 이라는 결과는 independent 하기 위해 필요한 조건이지 충분 조건은 아니다.