離散的概率分佈
Basic Concept
$x$: random variable. 其中 $x \in \mathbb{R} \quad or \quad x \in \mathbb{Z}$
$P(x=k)=a$: 對於$x=k$這個事件, 他的概率爲$a$. 需要注意, 任何事件的概率均大於等於0且小於等於一.
舉個例子, x: outcome of coin tossing. tail:0, head:1.
$$P(x=0)=\frac{1}{2}, \quad P(x=1)=\frac{1}{2}$$
需要注意的是, 對於一個離散的概率分佈, 所有事件的概率之和一定爲1, 即:
$$\sum_{i=-\infty}^{\infty} P(x=i) = 1$$
這個通常會作爲檢驗一個概率分佈是否有效的方式.
Expectation(期望): $\mathbb{E}[X]=\sum\limits_{i}i\times P(x=i)$
Variance(方差): $Var(X) = \mathbb{E}[x^2]-\mathbb{E}[x]^2$. 需注意,
$$\mathbb{E}[f(x)]=\sum\limits_{i}f(i)P(x=i)$$
也就是說, $\mathbb{E}[x^2] = \sum\limits_{i}x^2P(x=i)$
Mode/Modal Value (衆數): $P(X=x)$ 取最大值時的x的值.
期望和方差的代數關係 (a, b, c均爲常數)
$$\mathbb{E}[aX+bY+c]=a\mathbb{E}[X]+b\mathbb{E}[Y]+c$$
$$Var(aX+b)=a^2Var(x)$$
當X和Y兩個事件均獨立時:
$$\mathbb{E}[XY]=\mathbb{E}[X] \times \mathbb{e}[Y]$$
$$Var(aX+bY+c)=a^2Var(X)+b^2Var(Y)$$
Binomial Distribution
Symbol: $x \sim B(n,p)$, 其中$n \in \mathbb{N}$, $P \in (0,1)$, $x \in \{0, 1, …, n \}$. $\sim$ 的意思是“分佈”.
Definition: $P(x=r)= {n\choose r} p^r (1-p)^{n-r}$
Expectation: $\mathbb{E}[x]=np$ 證明:
$$\begin{equation}
\begin{aligned}
Var(x)&= \sum_{r=0}^{n} r \cdot P(x=r) \\
&= \sum_{r=0}^{n} r \cdot \frac{n!}{r!(n-r)!} p^{r}(1-p)^{n-r} \\
&= np\sum_{r=1}^{n} \frac{(n-1)!}{(r-1)!(n-r)!}p^{r-1}(1-p)^{n-r} \\
&= np \cdot (1-p+p)^{n-1} \\
&=np
\end{aligned}
\end{equation}
$$
Variance: $Var(x)=np(1-p)$ 證明方式同上
Poisson Distribution
Symbol: $x \sim Po(\lambda)$, 在給定的”間隔”內事件的出現次數. 其中 $x \in \{1, 2, …, n \}$.
Definition: $P(x=r)= e^{-\lambda} \cdot \frac{\lambda^r}{r!}$ 檢驗:
$$\begin{equation}
\begin{aligned}
\sum_{r=0}^{\infty} P(x=r)&= \sum_{r=0}^{\infty} e^{-\lambda} \frac{\lambda^r}{r!} \\
&= e^{-\lambda} \sum_{r=0}^{\infty}\frac{\lambda^r}{r!} \\
&= e^{-\lambda} \cdot e^{\lambda} \\
&= 1
\end{aligned}
\end{equation}
$$
Expectation(期望): $\mathbb{E}[x]=\lambda$
Variance (方差): $Var(x)=\lambda$
Notes:
- 如果在長度爲T的區間內出現的次數遵循參數爲$\lambda$的Poisson Distribution, 那麼在長度爲kT的區間內出現的次仍遵循平均值爲$k\lambda$的Poisson Distribution.
- 如果X、Y是2個獨立的, 遵循以$\lambda$, $\mu$爲平均的Poisson Distribution的事件, 則$X+Y$遵循平均爲$\lambda+\mu$的Poisson Distribution, 即
$$P(X+Y=r)=e^{-(\lambda+\mu)} \frac{(\lambda+\mu)^r}{r!}$$
- 若n比較“大”而p比較“小, 那麼以np爲平均值的Poisson Distribution可以用來近似Bionomial Distribution $x \sim B(n, p)$.
Geometric Distribution
Symbol: $x \sim Geo(p)$, 其中p代表着成功的可能性
Definition: $P(x=k)=p \cdot (1-p)^{k-1}$. 檢驗:
$$\begin{equation}
\begin{aligned}
\sum_{r=0}^{\infty} P(x=k)&= \sum_{r=0}^{\infty} p \cdot (1-p)^{k-1} \\
&= p \cdot \frac{1}{1-(1-p)}\\
&= 1
\end{aligned}
\end{equation}
$$
Expectation(期望): $\mathbb{E}[x]=\frac{1}{p}$ 證明:
$$\begin{equation}
\begin{aligned}
\mathbb{E}[x]&= \sum_{r=0}^{\infty} kp(1-p)^{k-1} \\
&= p \cdot \sum_{r=0}^{\infty}kq^{k-1}\\
&= p \cdot \sum_{r=0}^{\infty} \frac{\mathrm{d}}{\mathrm{d}q}(q^k) \\
&= p \cdot \frac{\mathrm{d}}{\mathrm{d}q} (\sum_{r=0}^{\infty} q^k) \\
&= p \cdot \frac{\mathrm{d}}{\mathrm{d}q} (\frac{1}{1-q}) \\
&= p \cdot \frac{1}{p^2} \\
&= \frac{1}{p}
\end{aligned}
\end{equation}
$$
Variance(方差): $Var(x)=\frac{1-p}{p^2}$