[Mixed RV] Delta Function, Step Function

[Mixed RV] Delta Function, Step Function

Electronics/Stochastic Processes2012. 2. 15. 22:56

필요성

지금까지는 discrete RV와 continuous RV를 따로 떼어서 설명했다.
Discrete RV는 PMF, continuous RV는 PDF라는 함수를 이용해 probability model을 나타냈다.
이러한 함수는 매우 중요한데,
probability model의 특징을 나타내는 값들 (expected value, variance 등)을 구하는 계산을 편리하게 하기 때문이다.

PMF는 덧셈, PDF는 integral을 사용하고 있다.
만약 우리가 이러한 두 가지 종류의 RV가 섞인 형태, 즉 mixed RV에 대해 이야기 하려면
여기서 설명하고자 하는 delta function이나 step function에 대해 알아야할 필요 있다.
이러한 함수들을 통해 discrete RV와 continuous RV를 하나로 묶어서 표현할 수 있다.

Unit Impulse (Delta) Function

Delta function은 수학적으로는 완벽한 모델이 되지 못하는데,
특정 지점 이외에서는 모두 0이고, 해당 지점에는 infinite하기 때문이다.
즉, 어떠한 특정 값을 가지지 못한다.
하지만 어쨌든 앞으로 설명할 내용에서는 매우 유용하게 사용할 수 있는 모델이긴 하다.
먼저 delta function의 정의는 아래와 같다.

$\\ Let ~d_\epsilon (x) = \begin {cases}1/\epsilon & -\epsilon/2 \leq x \leq \epsilon/2 \\ 0 & otherwise \end {cases} \\ The ~\bold{unit ~impulse ~function}~is~ \delta (x) = \lim_{\epsilon \to 0 } d_\epsilon (x)$

즉 ε이 0에 가까워 짐에 짜라 d_ε(x)의 값이 점점 커지게 된다.
궁극적으로는 infinite에 근접하게 되는데, 그림으로 그려보면,

위 그림을 보면 각 사각형 안의 넓이가 계속 1임을 볼 수 있다.
ε이 어떻게 되든간에 항상 넓이가 1이다.
즉, 모든 구간에 대해서 unit delta function을 적분한 값은,

이 된다.
Unit impulse function은 이전에도 여러차례 설명을 했기 때문에
더 자세한 설명은 다음 링크를 참조하기 바란다: http://blastic.tistory.com/96

Unit Step Function

$u(x) = \begin{cases} 0 & x<0 \\ 1 & x\ge 0 \end{cases}$

Unit step function은 위와 같이 정의된다.
x = 0 에서 u(x) = 1/2 로 정의하기도 하나, 여기서는 위와 같은 식으로 이해하도록 하자.
정의를 잘 보면 알 수 있겠지만, 어떤 계단형의 불연속점을 생각해 볼 수 있다.
이러한 unit step function은 delta function과 밀접한 관계가 있다.

Delta function은 전체 범위의 integral값이 1이 되므로,
v = 0을 포함하는 시점에서 좌변의 값은 0에서 1로 급격히 튀게 된다.
이것이 곧 unit step function과 같다.
보통 0을 포함할 것인가 0을 넘어가는 시점을 택할 것인가 등의 문제는
위에서 언급되었던 u(0) 값의 결정에서 비롯되는데 다시 한번 말하지만 여기서는 0을 포함하는 시점으로 잡는다.
일반적으로 위 식을 설명하는 데 있어서 delta function에서 사용되었던 ε를 가져와서 설명하는데,
여기서는 그것을 생략하도록 한다.

한편, 위 식을 역으로 생각하면 unit step function을 미분하면, delta function이 됨을 알 수 있다.
이 관계는 CDF와 PDF의 관계에서 아주 중요하게 사용된다.

Representation of Discrete RV Using CDF and PDF

위에서 다룬 delta function과 unit step function을 이용해서 discrete RV를 표현할 수 있다.
먼저 우리가 익히 알고 있던 discrete RV에서의 CDF 정의를 unit step function을 이용해 확장해 볼 수 있다.

$\begin{array}{rll} F_X(x) &=& P[X\leq x]\\ &=&\sum_{x_i \in S_X} P_X(x_i) u(x-x_i)\end{array}$

우리가 봤던 CDF그래프의 계단을 unit step function으로 나타낸 것이다.
계단처럼 값이 확 튀는 포인트들이 x_i 로 표현되어 있다.
u(x - x_i)를 잘 생각해 보면 알 수 있듯이, x가 x_i 보다 작은 경우에는 0의 값을,
그렇지 않은 경우에는 1의 값을 갖기 때문에, x가 커질수록 점점 합이 1에 가까워 지게 된다.

우리는 앞에서 언급했듯이 u(x)를 미분하면 δ(x)가 나온다는 것을 알고 있다.
따라서, CDF를 통해, 이번엔 PMF가 아닌 PDF를 만들어 볼 수 있다.

$\begin{array}{rll} f_X(x) &=&\sum_{x_i \in S_X} P_X(x_i) \delta (x-x_i)\end{array}$

즉 각 x_i의 포인트에 delta function이 하나씩 솟구쳐 나온 형태라고 할 수 있다.

위와 같은 그래프라고 볼 수 있다.
한편, delta function이 포함된 PDF를 이용해서 expected value를 구하는 것은 다음과 같이 가능하다.

$\begin{array}{rll} E[X] &=& \int_{-\infty}^{\infty}x\sum_{x_i \in S_X} P_X(x_i) \delta (x-x_i)~dx\\ &=& \sum_{x_i \in S_X} \int_{-\infty}^{\infty}x P_X(x_i) \delta (x-x_i)~dx\\ &=& \sum_{x_i \in S_X} x_i P_X(x_i) \end{array}$

결론적으로는 discrete RV에서의 expected value의 정의와 같아졌다. (참고: http://blastic.tistory.com/166)
이로써 우리는 일반적인 continuous RV와 discrete RV가 복합적으로 나타나는 것이 가능함을 예상해 볼 수 있다.

Discontinuity Notation

F_X 함수가 x 지점에서 discontinuity(불연속) 일 때,
우리는 다음과 같이 upper limit와 lower limit를 나타낼 수 있다.

$F_X(x^-)=\lim_{h\to 0^+}F_X(x-h),~~~F_X(x^+)=\lim_{h\to 0^+}F_X(x+h)$