[Probability] Conditional Probability

정의

위 식은 conditional probability의 정의다.
(여기서 P[AB] = P[A∩B] 이며 notation이 약간 다를 뿐이다.)

Conditional probability, 즉 조건부 확률은 다른 event의 발생을 전제로 다른 event의 확률을 구하는 것이다.
위의 수식처럼 notation은 P[A|B]이며, 'the probability of A given B'라고 읽는다.

이전에 다뤘던 확률은 어떤 event 혹은 outcome이 단순히 일어날 확률을 말한다.
또한, 예를 들어 실험해 보기 전에 6면체 주사위에서 1이 나올 확률이 1/6일 것이라는 것은
굳이 던져보지 않더라도 예상해 볼 수 있는 것이다.
그래서 P[A]를 priori probability of A 또는 prior probability of A 라고 표현한다.

이를 conditional probability의 예로 가져와서 생각해 보면,
기본조건은 그냥 전체집합, 즉 sample space가 된다.
일반적인 conditional probability는 기본조건을 sample space가 아닌 어떤 특정한 event B라고 잡는다.
그러면 sample space를 이루는 원소들은 event B의 원소에 해당하는 것들만 존재한다고 한정한 다음
event A가 발생활 확률을 구하는 것이 conditional probability이다.

예제

구체적인 예가 이해하기가 좀 더 쉬울 것 같은데, 역시 앞선 포스트에서 이용한 6면체 주사위가 가장 적절할 것 같다.
event A는 2 이하의 눈이 나오는 event, event B는 홀수의 눈이 나오는 event라고 하자. 그러면 우리는

A = {1, 2}

B = {1, 3, 5}

라고 쓸 수 있다. P[A|B]를 직접 원소를 통해서 구해보면,
먼저 B에는 1, 3, 5의 3가지 원소만 존재한다.
따라서, 홀수의 눈이 나왔을 때 그 눈이 2 이하일 확률은,
1, 3, 5 중 1이 나와야 하고, 각 눈이 나올 확률은 모두 같으므로, P[A|B] = 1/3이 된다.
한편, 반대로 2이하의 눈이 나왔을 때, 그 눈이 홀수일 확률은 P[B|A] = 1/2가 된다.
즉, 어떤 것을 base로 삼느냐에 따라서 같은 outcome이 나오더라도 conditional probability는 다양한 결과가 나온다.

이러한 결과는 위에서 본 수식으로도 구할 수 있다.
P[A] = 1/3, P[B] = 1/2, P[AB] = 1/6 이므로,

P[A|B] = P[AB] / P[B] = (1/6) / (1/2) = 1/3

P[B|A] = P[AB] / P[A] = (1/6) / (1/3) = 1/2

앞서 구한 결과와 일치한다. 

Correspondence to the Axioms of Probability

Conditional probability에서도 이전에 다뤘던 Axioms of Probability를 이용할 수 있다. 
다만 그에 맞게 수정이 필요한데, 엄밀히 말해서 위 내용은 axiom이 아니라 theorem이며 증명이 필요하다.
그러나 맨 위의 정의를 이용하면 곧바로 얻어낼 수 있으므로 증명과정은 생략한다.
Axioms of Probability를 여기서도 그대로 이용할 수 있다는 사실만 알아두도록 한다.

Law of Total Probability

이전의 theorem 5와 conditional probability의 정의를 이용하면 곧바로 증명이 가능하다.
이 정리는 주로 conditional probability에 대한 정보만 주어진 경우에
unconditional probability를 구하는데 용이하게 쓸 수 있다.
즉, event space를 이루는 각 event를 base로 하는 다른 event A의 conditional probability를 알고 있다면,
event A의 probability를 구할 수 있다.

Bayes' Theorem

Conditional probability의 정의를 이용하면 곧바로 위 식을 얻는 것이 가능하다.
식을 잠깐만 보면 알 수 있듯이 A와 B의 위치를 자유자재로 바꿀 수 있다. (다만 A, B의 확률을 알아야 한다.)
Bayes' Theorem은 간단히 말해서 원인과 결과를 쉽게 바꿀 수 있다. 
예를 들면 여러대의 기계가 각각의 생산량과 각각의 불량률을 가지고 있다고 하자.
(즉, 어떤 상품이 특정 기계에서 나올 확률 P[A]와, 각 기계에서 불량품이 나올 조건부 확률 P[B|A])
이러한 정보를 이용해서 전체 불량률 P[B]를 알고 있을 때,
그 불량품이 특정 기계에서 나올 확률, 즉 P[A|B]을 구할 수 있는 것이다.

특히 law of total probability와 결합하면 P[B]혹은 P[A]가 주어지지 않더라도 조건부확률을 이용해 구할 수 있다.

식을 잘 보면, 분자와 분모 사이에 어떤 연관성을 볼수 있다.

LaTeX code

\\\bold{Axiom 1:} ~P[A|B] \ge 0\\\bold{Axiom 2:} ~P[B|B] =1\\\bold{Axiom 3:} ~\text{If~}A=A_1 \cup A_2 \cup \cdots \text{~with~} A_i \cap A_j = \phi ~\text{for}~ i \neq j, \text{then}\\ ~~~~~~~~~~~~~~~P[A|B]=P[A_1|B]+P[A_2|B]+\cdots

\\\bold{Axiom 1:} ~P[A|B] \ge 0

\\\bold{Axiom 2:} ~P[B|B] =1

\\\bold{Axiom 3:} ~\text{If~}A=A_1 \cup A_2 \cup \cdots \text{~with~} A_i \cap A_j = \phi ~\text{for}~ i \neq j, \text{then}

\\ ~~~~~~~~~~~~~~~P[A|B]=P[A_1|B]+P[A_2|B]+\cdots

\\\text{For an event space}~\{B_1,~B_2,~\dots,B_m\}~\text{with}~P[B_i]>0~\text{for all i,}

\\P[A]=\sum^{m}_{i=1}P[A|B_i]P[B_i]

\\P[B_i|A]=\frac{P[A|B_i]P[B_i]}{\sum^{m}_{i=1}P[A|B_i]P[B_i]}