[Probability] Intro & Basics

시작

 

이 카테고리에서는 기본적인 확률의 이야기에서부터 랜덤변수, 

그리고 통계 추정 방법 및 랜덤 프로세스에 대해 다뤄보고자 한다. 

통계학은 통계학 이외의 분야에도 상당히 여러 분야에 걸쳐서 사용되고 있다.

양자역학에서는 입자의 존재가능성을 확률을 이용해 설명하고 있고,

경제학에서는 행동경제학이나 게임이론 등에서 확률을 이용하고 있으며,

통신 분야에서도 확률의 기본적인 이해를 필요로 하고 있다.

 

기본 용어

기본적으로 확률 용어에 대한 설명이 필요할 것 같다.
(원서와의 혼동을 막기 위해서 대부분의 용어는 영어 단어로 표현하도록 하겠다.)

먼저, 어떤 확률이 발생할 수 있는 모든 행위를 experiment라고 한다. 
6면체 주사위를 예로 들어보면, 6면체 주사위를 던지는 행위 자체는 experiment가 된다.

이런 experiment를 수행함으로써 얻게되는
모든 가능한, 명확한(distinguishable) 결과를 outcome이라고 부르는데, 
이 예제에 있어서는 '1이라는 눈이 나온 것' 또는 '2라는 눈이 나온 것'... 등을 의미한다고 볼 수 있다.
즉, 6가지의 outcome이 존재할 수 있다.
여기서, '6개의 눈 중 어떤 눈도 표시하지 않고 모서리로 서있는 상황이 나올수도 있지 않는가' 라고 반문할 수 있겠으나,
상식적인 선에서 생각했을 때 일어나기 힘든 상황에 대해서는 outcome으로 생각하지 않는다.



모든 outcome의 집합을 sample space라고 한다.
즉, 주사위 예제에서의 sample space S는 다음과 같이 표현해 볼 수 있다.

S = {1, 2, 3, 4, 5, 6}

이 집합에서의 각 원소들, 예를들어 '1'은 '1이라는 눈이 나온 것'을 의미한다.
다만 sample space에는 특정한 property들이 조건으로 들어가게 된다.

1. finest-grain: 모든 가능한, 구별가능한 outcome들은 개별적으로 정의되어야 한다.
2. mutually exclusive: 어떤 두 개 이상의 outcome이 동시에 발생할 수 없어야 한다.
3. collectively exhaustive: 모든 outcome은 sample space에 포함되어야 한다.

이러한 조건을 만족하는 outcome의 집합이 곧 sample space가 된다.
위 정의들이 딱히 머리에 와닿지 않을 것 같아서 예제를 통해 설명을 덧붙여 보면 좋을 것 같다.
집합 S를 다음과 같이 정의했다고 하자.

S = { 1 또는 2, 3 또는 4, 5 또는 6} 

finest-grain은, 서로 나누어 떨어져 표현될 수 있는 원소들을 위와 같이 표현하지 말라는 의미이다.
즉, finest-grain에 따르면 위의 예제는 sample space가 될 수 없는 것이다.

S = {1 또는 2, 2 또는 3, 4, 5, 6} 

Mutually exclusive를 이해하는것은 위의 예제를 생각해 볼 수 있다.
주사위를 던져서 2의 눈이 나왔다면, '1 또는 2' 라는 원소와 '2 또는 3'이라는 원소에 둘 다 속하게 된다.
즉, 동시에 두 가지의 outcome이 발생하게 되는 셈인데, 이렇게 되어서는 안된다는 의미이다.
즉, 하나의 outcome이 발생하면, 다른 outcome이 동시에 발생해서는 안된다.

S = {1, 2, 3, 4}

5의 눈과 6의 눈이 나오는 경우에 대해서, 위 집합 S는 포함시키고 있지 않다.
Collectively exhaustive는 모든 outcome들이 sample space에 포함되어야 한다는 것을 의미한다.



한편, 이러한 sample space의 부분집합을 event 라고 한다.
다르게 말하면, experiment의 outcome의 집합을 event라고 할 수 있다.
다시 6면체 주사위에서의 예를 들면, 7 이상의 눈이 나오는 event, 짝수의 눈이 나오는 event를 생각해 볼 수 있다.
이러한 특정 조건을 통해서 event를 설정해 줄 수 있다.

Event 역시 space를 구성할 수 있는데, 이것이 위에서 잠깐 언급되었던 event space다.
Event의 mutually exclusive하고 collectively exhaustive한 집합을 event space라고 한다.
즉, 각각의 event의 원소들이 다른 event의 원소와 중복되지 않으면서
모든 event를 모은 집합을 event space라고 표현한다.
결과적으로는 event space는 전체집합과 같게 된다.

예를 들어, 주사위에서 짝수의 눈이 나올 event와 홀수의 눈이 나올 event를 생각해 보자.
각각의 event를 A, B의 집합으로 표현해 보면 A = {2, 4, 6}이고 B = {1, 3, 5} 가 된다.
각 event의 원소들이 다른 event 원소들과 겹치지 않으며 A와 B를 모두 합하면 곧 전체집합이 된다.
즉 S = {A, B} 라고 표현이 가능하다.

가장 쉽게 생각하면 event space의 각 event들은 전체집합을 땅따먹기 하는 것이라고 생각해 보면 된다.

부가 정리
 

 
어떤 전체집합이 있고, A라는 event가 있다고 가정하자.
또한 B_1 ~ B_4까지 event space를 위와 같이 정의했다고 했을때, 

 
라고 정의하게 되면 각각의 C_i들은 mutually exclusive하며,
C_i를 모두 모으면 (collectively exhaustive) 그것은 곧 A가 된다.

이를 일반적으로 정리하면,

어떤 event space B가 아래와 같이 정의되었을 때,

 
C_i를 아래와 같다고 하자.

그러면, 

 
라고 할 수 있다.