머신 러닝 정리 2 - 확률 분포

확률이란?

• $P(E) \in R$ : 확률이란 함수 형태를 가지고 있다. 
• $P(E) \geq 0$ : 모든 각 사건은 확률이 0 이상이다. (음수는 없다.)
• $P(\omega) = 1$ : 모든 경우를 합치면 1이다. 

 

오메가에 대한 정의

$$ P(E_1 \cup E_2 \cup ...) = \sum^{\infty}_{i=1} P(E_i) $$

 

• if $A \subseteq B$ then $P(A) \leq P(B)$ 
• $P(\emptyset) = 0$
• $0 \leq P(E) \leq 1$
• $P(A \cup B) = P(A) + P(B) - P(A \cup B)$
• $P(E^C) = 1- P(E)$

위 정도로 정리 가능하다. 

 

조건부 확률

$$P(A | B) = \frac{P(A \cap B)}{P(B)}$$

B 가 주어졌을 때 A 가 성립할 확률, 즉 A와 B 가 동시에 성립해야 하며 이를 B 전체로 나눠줘야 한다. 

 

$P(A \cap B) = P(B \cap A)$ 이므로 아래도 성립한다. 

 

$P(B | A) = \frac{P(A | B) P(B)}{P(A)}$

 

확률 분포

사건(event)이 확률에 맵핑되는 함수를 확률 분포라고 한다. 

 

예시)

확률 함수 

$$f(x) = \frac{1}{\sqrt{2\pi}} \exp\left( -\frac{1}{2}\left(x\right)^{\!2}\,\right)$$

x 가 사건(event)

 

확률 밀도 함수 

 

누적 분포 함수 

 

분포의 모양을 조정할 수 있다. 

 

1. 공식자체를 수정하여 분포를 바꿀 수 있다. 

각 공식마다 이름이 있다. (normal, poisson, beta .. )

 

2.parameter 값을 조정하여 바꿀 수 있다. 

 

normal distribuion

$f(x;mu, \sigma) = \frac{1}{\sigma\sqrt{2\pi}} \exp\left( -\frac{1}{2}\left(\frac{x-\mu} {\sigma}\right)^{\!2}\,\right)$

Notaion : $N(\mu, \sigma^2)$ 

Mean: $\mu$

Variance: $\sigma^2$

 

Beta distribution 

normal distribution 은 양쪽에 long-tail이 끝없이 존재한다. 

반면, beta distribution은 tail 없이 연속적인 값 [0,1] 내에 존재한다. (범위가 딱 정해진 경우 유용하다)

 

확률또한 범위가 정해져 있으므로 확률을 모델링 할 때 beta distribution 이 많이 사용된다. 

 

$$P(\theta) = \frac{\theta^{\alpha - 1} (1-\theta)^{\beta -1}}{B(\alpha, \beta)}$$

$$B(\alpha, \beta) = \frac{\Gamma(\alpha) \Gamma(\beta)}{\Gamma{\alpha+\beta}}$$

$$\Gamma(\alpha) = (\alpha-1)!$$

$$\alpha \in N^{+}$$

 

Notation: $\textrm{Beta}(\alpha, \beta)$

Mean: $\frac{\alpha}{\alpha+\beta}$

Variance: $\frac{\alpha \beta}{(\alpha+\beta)^2 (\alpha + \beta + 1)}$

 

Binomial Distribution 

$f(\theta; n, p) = {N\choose k} p^k(1-p)^{n-k}, {N\choose k} = \frac{n!}{k!(n-k)!}$

Notation: $B(n, p)$

mean: $np$

Variance: $np(1-p)$ 

 

분포가 연속적이지 않고 끊겨있는 것을 볼 수 있다. 즉, 이산적인 사건에 대해 확률을 정의할 때 사용한다. 

 

Multinomial Distribution

앞과 뒤 처럼 2가지가 아닌 그 이상의 선택지가 있는 경우에는 다른 분포가 필요하다. 그 때 사용할 수 있는 분포이다. 

 

binomial distribution의 일반화 

Word Selection (말을 하고나서 다음 단어를 선택하는 경우), Cluster Selection 

 

$f(x_1, ..., x_k; n, p_1, ..., p_k) = \frac{n!}{x_1! ... x_k!} p_1^{x_1} ... p_k^{x_k}$

Notation: $\textrm{Mult}(P), P = < p_1, ..., p_k >$

Mean: $\textrm{E}(x_i) = np_i $

Variance: $\textrm{Var}(x_i) = np_i(1-p_i)$