[Probability] Independence

정의

P[AB] = P[A]P[B]

위 식을 만족하는 Event A와 B는 independent 하며,
event A와 B가 independent 하려면 위 식을 만족해야 한다. (필요충분조건)

만약 event A와 B가 nonzero probability, 즉 0이 아닌 확률을 가지는 경우 다음을 만족한다.

P[A|B] = P[A], P[B|A] = P[B]

해석

Independence는 말 그래도 event간의 독립성을 말한다. 
즉, event간의 간섭이 없고, 종속관계에 속하지 않음을 뜻한다.

왜 독립이기 위해서 P[AB] = P[A]P[B] 이어야 하나요? 라고 묻는다면,
'독립의 정의가 그렇게 되어있기 때문에 그렇다.' 라고 대답해 주면 된다.

이전에 들었던 6면체 주사위 예제를 다시 가져와보자.
6면체 주사위에서 2 이하의 눈이 나올 확률은 1/3,
홀수의 눈이 나올 확률은 1/2이고,
홀수이면서 2이하의 눈이 나올 확률은 1/6이다.
즉, 6면체 주사위에서 2 이하의 눈이 나오는 event는 홀수의 눈이 나올 event와 서로 독립 관계에 있다고 할 수 있다.

한편 3이하의 눈이 나올 확률은 1/2,
홀수의 눈이 나올 확률은 1/2이고
홀수이면서 3 이하의 눈이 나올 확률은 1/3이다.
이 경우에는 1/2 * 1/2의 결과가 1/3 이 될 수 없으므로 종속 관계에 있다고 말한다.

왜 이런 차이가 발생하는가라는 질문이 자연스레 떠오를 수 밖에 없다.
설명은 의외로 간단하다. 해결책은 두번째 식에서 나온 conditional probability이다.

직관적으로 말하면, 홀수의 눈이 나올 확률이나
2 이하의 눈이 나왔을 때 그 수가 홀수일 확률을 구하든지, 두 확률이 서로 같다는 의미다.
물론 2이하의 눈이 나올 확률이나, 
홀수의 눈이 나왔을 때, 그 수가 2 이하일 확률 역시 서로 같다.

다시 말해 앞에 event A가 발생하든 말든 상관없이 event B의 확률이 변하지 않는다는 의미가 된다.
하지만, 두번째의 예시는 어떤가?
3 이하의 눈에 해당하는 숫자는 1,2,3이다.
원래의 홀수와 짝수의 비는 1:1이었지만 이제는 2:1로 바뀌어버렸다.
즉 '3 이하의 눈이 나오는 event'는 뒤따라오는 '홀수의 눈이 나오는 event'에 영향을 미치게 된 것이다.
물론 이것의 역 명제에 대한 설명 역시 마찬가지다.

여기서 주의할 점은,
두 번째 식을 만족하기 위해서는 event가 'nonzero probability'를 가져야 한다는 것인데,
conditional probability의 base event는 정의에 따라 priori probability가 분모에 들어가게 되기 때문이다.
이것이 0이되는것은 불가능하므로, 'nonzero probability'의 조건을 달아 놓고 있는 것이며,
independence의 정의에 따르면 'zero probability' event는 다른 모든 event에 독립이라고 할 수 있다.
다만 두 번째 식을 적용할 수 없다는 것 뿐이다. 그렇게 생각하면 된다.

흔한 오류

Disjoint, 즉 두 event 사이에 교집합이 없는 것과 independent를 헷갈려서는 안된다.
교집합이 없는 것은 P[AB] = 0 을 의미하며, 이 상태에서 independent를 만족하려면
두 event 중 적어도 하나는 zero probability를 가져야 한다.

또한, 여기서의 independence는 독립해서 발생하는 두 개의 subexperiment를 설명하기 위해 사용되지는 않는다.
너무 뜬금없는 것 같아서 설명을 덧붙이자면,
6면체 주사위를 던지고, 뒤이어 동전을 던지는 experiment를 설명하자. 물론 순서가 바뀌어도 무관하다.
두 개의 subexperiment의 sample space를 표현해보면 각각

S_1 = {1, 2, 3, 4, 5, 6}

S_2 = {H, T}

라고 할 수 있다.
그렇다면 이 두 개의 subexperiment를 연달아 수행하는 experiment의 sample space는 어떻게 될 것인가?

S = {(1, H), (2, H), (3, H), (4, H), (5, H), (6, H).

         (1, T), (2, T), (3, T), (4, T), (5, T), (6, T)}

위 식에서 하나의 outcome은 두 subexperiment 결과에 대한 정보를 모두 담고 있다.
(notation을 꼭 이와 같이 할 필요도 없으며, 어떻게 해야할 지에 대해 고민할 필요도 없다.)

이렇게 두 개의 subexperiment가 연달아 이루어 졌을때의 experiment의 sample space는 S로 정의되었다.
(보통 이런 experiment를 sequential experiment라고 한다.)
하지만 여기서 설명하는 independent의 개념으로 두 subexperiment가 independent하다는 것을 보이기 위해
맨 위에서 소개한 정의의 식을 사용하려면 '주사위를 던지는 event'라든지
'동전을 던지는 event'를 만들면 된다. 둘 다 확률은 1일 수 밖에 없다.
곱 역시 1이므로, 이론적인 계산을 통해 두개의 event는 독립이라고 할 수 있지만,
그것이 여기서 별다른 중요한 의미를 갖지 못한다.