Counting Methods 확률을 계산하기 위해서는 outcome의 개수를 알 필요가 있다. (어디까지나 discrete한 공간에서의 이야기이다.) 지금까지의 예제들은 모든 outcome들을 일일이 찾아주는 방법을 취했으나 subexperiment가 여러번 겹친다든지, experiment가 복잡한 경우에는 좀 더 간단한 방법을 사용할 필요가 있다. 이 포스트에서는 그 방법에 대해 설명하려고 한다. 대부분의 내용은 중고등학교 교육과정상에 포함되어 있으므로 앞으로 이어질 포스트에 사용될 대략적인 notation 위주로 보아도 무관할 것이다. Fundamental Principle of Counting 여러개의 subexperiment가 있고, 각각의 subexperiment들을 모두 수행했을 때, 가능한..

정의 P[AB] = P[A]P[B] 위 식을 만족하는 Event A와 B는 independent 하며, event A와 B가 independent 하려면 위 식을 만족해야 한다. (필요충분조건) 만약 event A와 B가 nonzero probability, 즉 0이 아닌 확률을 가지는 경우 다음을 만족한다. P[A|B] = P[A], P[B|A] = P[B] 해석 Independence는 말 그래도 event간의 독립성을 말한다. 즉, event간의 간섭이 없고, 종속관계에 속하지 않음을 뜻한다. 왜 독립이기 위해서 P[AB] = P[A]P[B] 이어야 하나요? 라고 묻는다면, '독립의 정의가 그렇게 되어있기 때문에 그렇다.' 라고 대답해 주면 된다. 이전에 들었던 6면체 주사위 예제를 다시 가져와보자..

정의 위 식은 conditional probability의 정의다. (여기서 P[AB] = P[A∩B] 이며 notation이 약간 다를 뿐이다.) Conditional probability, 즉 조건부 확률은 다른 event의 발생을 전제로 다른 event의 확률을 구하는 것이다. 위의 수식처럼 notation은 P[A|B]이며, 'the probability of A given B'라고 읽는다. 이전에 다뤘던 확률은 어떤 event 혹은 outcome이 단순히 일어날 확률을 말한다. 또한, 예를 들어 실험해 보기 전에 6면체 주사위에서 1이 나올 확률이 1/6일 것이라는 것은 굳이 던져보지 않더라도 예상해 볼 수 있는 것이다. 그래서 P[A]를 priori probability of A 또는 prio..

Axioms of Probability 위의 표현된 식들은 axiom, 즉 공리라고 하는 것으로 굳이 부가적인 증명이 필요 없는 자명한 진리이다. 이러한 axiom을 기반으로 하여 다른 정리들로 확장해 나가는 것이 가능하다. 정식 이름은 'Axioms of probability' 라고 하며, P[A] 는 A라는 event의 확률을 의미한다. Event 대신 outcome의 확률도 P[a]와 같은 식으로 표현이 가능하다. Axiom 1번은 어떠한 event가 일어날 확률은 항상 0 이상이라는 의미가 되며, axiom 2번은 sample space의 확률이 1임을 나타낸다. 이상의 두 개의 axiom을 정리해 봤을때, 모든 확률은 0과 1 사이에 표현된다는 것을 알 수 있다. 즉 확률이 2, 3.141592..

시작 이 카테고리에서는 기본적인 확률의 이야기에서부터 랜덤변수, 그리고 통계 추정 방법 및 랜덤 프로세스에 대해 다뤄보고자 한다. 통계학은 통계학 이외의 분야에도 상당히 여러 분야에 걸쳐서 사용되고 있다. 양자역학에서는 입자의 존재가능성을 확률을 이용해 설명하고 있고, 경제학에서는 행동경제학이나 게임이론 등에서 확률을 이용하고 있으며, 통신 분야에서도 확률의 기본적인 이해를 필요로 하고 있다. 기본 용어 기본적으로 확률 용어에 대한 설명이 필요할 것 같다. (원서와의 혼동을 막기 위해서 대부분의 용어는 영어 단어로 표현하도록 하겠다.) 먼저, 어떤 확률이 발생할 수 있는 모든 행위를 experiment라고 한다. 6면체 주사위를 예로 들어보면, 6면체 주사위를 던지는 행위 자체는 experiment가 된..

Signals and Systems에서의 Fourier Series 이전 포스트에서 Signal을 Decompose하는 방법 중 하나인 Convolution에 대해 다뤄보았다. Convolution은 어떤 Signal을 수많은 Basic Elementary Function들로 나눌 수 있게 만드는 도구가 된다. 여기서 소개하려는 것은 Fourier Series라고 하는 새로운 Decompose Tool이다. Convolution이 Impulse들의 합이었다면, 여기서는 Sinusoid의 합으로 어떤 Signal을 나타내게 될 것이다. 물론 Real Form이 나올 수도 있고, Complex Form이 될 수도 있다. 이러한 발상을 통해 Signal을 Frequency Domain으로 나타낼 수 있는 방법..