[Random Vector] Independence of Random Variables and Random Vectors

[Random Vector] Independence of Random Variables and Random Vectors

Electronics/Stochastic Processes2012. 3. 10. 01:14

Independent Random Variables

모든 x_1, ..., x_n 에 대해서 다음을 만족하는 random variable X_1, ..., X_n은 independent하다.

$\begin{array}{ll} Discrete:&P_{X_1,\cdots,X_n}(x_1,\cdots,x_n) = P_{X_1} (x_1) P_{X_2}(x_2) \cdots P_{X_n}(x_n) \\ Continuous:&f_{X_1,\cdots,X_n}(x_1,\cdots,x_n) = f_{X_1} (x_1)f_{X_2}(x_2) \cdots f_{X_n}(x_n) \end{array}$

즉, 어떤 joint PDF나 joint PMF에 대해서 각각의 random variable에 대한 PDF, PMF의 모든 곱이 같을 때,
해당 random variable들을 서로 independent 하다고 말한다.

Independent and Identically Distributed (iid)

$\begin{array}{ll} Discrete:&P_{X_1,\cdots,X_n}(x_1,\cdots,x_n) = P_{X} (x_1) P_{X}(x_2) \cdots P_{X}(x_n) \\ Continuous:&f_{X_1,\cdots,X_n}(x_1,\cdots,x_n) = f_{X} (x_1)f_{X}(x_2) \cdots f_{X}(x_n) \end{array}$

Independent의 정의말고도 identical의 개념을 추가적으로 언급해 볼 수 있는데,
어떤 random variable의 joint PDF 또는 PMF가 동일한 PDF 또는 PMF의 곱의 형태로 나타날때 iid라고 한다.
여기서 말하는 iid는 independent and identically distributed 라는 뜻으로,
identical은 모든 random variable의 PMF 또는 PDF가 동일하다는 의미이다.

Independent Random Vectors

$\begin{array}{ll} Discrete:&P_{\bold{X},\bold{Y}}(\bold{x},\bold{y}) = P_{\bold{X}} (\bold{x}) P_{\bold{Y}}(\bold{y}) \\ Continuous:&f_{\bold{X},\bold{Y}}(\bold{x},\bold{y}) = f_{\bold{X}} (\bold{x}) f_{\bold{Y}}(\bold{y}) \end{array}$

Independent random vector는 위와 같이 정의된다.
Vector를 곧바로 random variable의 나열의 형태로 환원할 수 있으므로,
결론적으로는 independent random variable의 경우와 크게 다를 것이 없다.

예제

위와 같은 joint PDF가 있을 때, 다음과 같은 random vector V, W가 서로 independent한지 검사하라.

$\bold{V} = [Y_1 ~Y_4]',~\bold{W} = [Y_2 ~Y_3]'$

먼저 헷갈리지 않도록 notation을 다음과 같이 변형한다.

$\\ Let, ~V_1 = Y_1, ~V_2 = Y_4, ~W_1 = Y_2, ~W_2=Y_3, ~then \\\\ f_{V_1,W_1,W_2,V_2}(v_1,w_1,w_2,v_2) = \begin{cases} 4 & 0\leq v_1 \leq w_1 \leq 1,0\leq w_2 \leq v_2 \leq 1 ,\\0&otherwise \end{cases}$

각 random vector V, W에 대해서 PDF는 다음과 같으며,

$\\ f_\bold{V} (\bold{v}) = f_{Y_1,Y_4}(y_1,y_4)=f_{V_1,V_2}(v_1,v_2) \\ f_\bold{W} (\bold{w}) = f_{Y_2,Y_3}(y_2,y_3)=f_{W_1,W_2}(w_1,w_2)$

이제 각 random vector 에 대해 marginal PDF를 구해야 한다.
하지만 이미 우리는 이전 포스트에서 notation만 다른, 같은 예제에 대한 답을 얻었으므로,
(참고: http://blastic.tistory.com/226)
각 random vector에 대한 marginal PDF는 다음과 같다.

$\\ f_{\bold{V}}(\bold{v})= \begin {cases}4(1-v_1)v_2&0\leq v_1\leq 1, ~0 \leq v_2 \leq 1 \\ 0 &otherwise \end{cases} \\ f_{\bold{W}}(\bold{w})= \begin {cases}4w_1(1-w_2)&0\leq w_1\leq 1, ~0 \leq w_2 \leq 1 \\ 0 &otherwise \end{cases}\\\\ \\ f_{\bold{V}}(\bold{v})f_{\bold{W}}(\bold{w})= \begin {cases}16(1-v_1)v_2w_1(1-w_2)&0\leq v_1,~v_2,~w_1,~ w_2 \leq 1 \\ 0 &otherwise \end{cases}$

각 marginal PDF의 곱은 원래의 joint PDF와 다르다.
따라서 random vector V와 W는 independent 하지 않다.

저작자표시 비영리 동일조건

태그

최근글

댓글

공지사항

아카이브

티스토리툴바