4. Common Probability Distribution

$$\huge\textbf{Common Probability Distribution} $$

1. Discrete Probability Distribution

1.1. $\text{Bernoulli}$ Distribution

$def.$ $\text{Bernoulli}$ Distribution

随机变量 $X$ 服从参数 $p$ 的伯努利分布,若:

$$P\{X = k\} = p^k(1-p)^{1-k}\quad k \in \{0,\ 1\} $$

记作

$$X\sim \operatorname{Bern}(p) $$

$thm.$ Moment-generating Function of $\text{Bernoulli}$ Distribution

$X$ 为伯努利分布随机变量,则

$$M_X(s) = (1-p)+pe^s $$

1.2. $\text{Binomial}$ Distribution

$def.$ $\text{Binomial}$ Distribution

随机变量 $X$ 服从参数 $n,\ p$ 的二项分布,若

$$P\{X = k\} = \binom{n}{k}p^k(1-p)^{n-k}\quad k \in \mathbb N $$

其中 $n,\ p$ 为参数,记为 $X\sim \mathbb{B}(n,\ p)$. 特别地,利用微分恒等式可以得到二项分布的数字特征

$$\begin{align} E(X) &= np\\ V(X) &= np(1-p) \end{align} $$

$thm.$ Moment-generating Function of $\text{Binomial}$ Distribution

$X\sim \mathbb{B}(n,\ p)$,则

$$M_X(s) = (pe^s+1-p)^n $$

$thm.$ Addition Rule of $\text{Binomial}$ Distribution

两二项分布随机变量 $X\sim \mathbb{B}(m,\ p), Y\sim\mathbb{B}(n,\ p)$ 相互独立,则有

$$X+Y\sim\mathbb{B}(m+n,\ p) $$

1.3. $\text{Poisson}$ Distribution

$def.$ $\text{Poisson}$ Distirbution

泊松分布的概率分布律为

$$P\{X = k\} = \frac{\lambda^k}{k!}e^{-\lambda}\quad k\in \mathbb N\cup\{0\} $$

其中 $\lambda$ 为参数,记作 $X\sim \pi(\lambda)$. 利用简单的变形可得泊松分布的数字特征

$$\begin{gather} &E(X) = \lambda\\ &V(X) = \lambda \end{gather} $$

$thm.$ Moment-generating Function of $\text{Poisson}$ Distribution

$X\sim\pi(\lambda)$,则

$$M_X(s) = e^{\lambda(e^s - 1)} $$

$thm.$ As a $\text{Binomial}$ Distribution with Infinitesimal Time-steps

$\lambda>0$ 是一个常数,$n$ 为正整数,若 $np_n$ 近似为 $\lambda$ ,则对于任意固定的非负整数 $k$,有

$$\lim_{n\rightarrow \infty}\binom{n}{k}p_n^k(1-p_n)^{n-k}=\frac{\lambda^k}{k!}e^{-\lambda} $$

1.4. $\text{Geometric}$ Distribution

$def.$ $\text{Geometric}$ Distribution

几何分布的概率分布律为

$$P\{X=k\}=(1-p)^{k-1}p\quad k\in \mathbb N $$

其中 $p$ 为参数,记作 $X\sim\mathbb{G}(p)$. 利用等比数列求和错位相减得到几何分布的数字特征

$$\begin{gather} &E(X) = \frac{1}{p}\\ &V(x) = \frac{1-p}{p^2} \end{gather} $$

$thm.$ Memorilessness

取值为正整数的随机变量 $X$ 服从几何分布,当且仅当 $X$ 有无记忆性

$$\forall m,\ n\geq0: P\{X>m+n\ |\ X>m\} = P\{X>n\} $$

$thm.$ Moment-generating Function of $\text{Geometric}$ Distribution

$X\sim\mathbb{G}(p)$ ,则

$$M_X(s) = \frac{pe^s}{1-(1-p)e^s} $$

1.5. $\text{Negative-Binomial}$ ($\text{Pascal}$) Distribution

$def.$ $\text{Negative-Binomial}$ Distribution

Generalized $\text{Geometric}$ Distribution

随机变量 $X$ 服从参数为 $r$$p$ 的负二项分布,其概率分布律为

$$\mathbb{NB}(k;r,p) = \binom{k-1}{n-r}(1-p)^{k-r}p^r\quad k = r,\ r+1,\ldots $$

记作 $X\sim\mathbb{NB}(r,\ p)$. 特别地,利用组合恒等式不难求出负二项分布的数字特征

$$\begin{gather} E(X) = \frac{r}{p}\\ V(X) = \frac{r(1-p)}{p^2} \end{gather} $$

$thm.$ As a $\text{Poisson}$ Distribution with Infinitesimal Time-steps

$p = \displaystyle \frac{r}{\lambda+r}$,则

$$\begin{align} &\lim_{r\rightarrow\infty}\mathbb{NB}(k';r,p)\\ = &\lim_{r\rightarrow\infty}\binom{k'+r-1}{k'}(1-p)^{k'}p^r = \pi(k';\lambda) \end{align} $$

1.6. $\text{Hyper-Geometric}$ Distribution

$def.$ $\text{Hyper-Geometric}$ Distribution

超几何分布的概率分布律为

$$P(X=i) = \frac{\binom{m}{i}\binom{N-m}{n-i}}{\binom{N}{n}}\quad i\in \mathbb N $$

其中参数 $n,\ N,\ m$ 均为正整数且 $m\le N,\ n\le N$,记作 $X\sim\mathbb{H}(N,n,m)$. 特别地,利用极大似然估计不难得到超几何分布的数字特征

$$\begin{gather} &E(X) = \frac{nm}{N}\\ &V(X) = \frac{nm}{N}\bigg(\frac{(n-1)(m-1)}{N-1}+1-\frac{nm}{N}\bigg) \end{gather} $$

$thm.$ As a $\text{Binomial}$ Distribution with Infinitesimal Time-steps

$$\lim_{n\rightarrow\infty}\mathbb{H}(N,M,n)=\mathbb{B}(n,p) $$

其中 $\frac{M}{N}=p$

2. Continuous Probability Distribution

2.1. $\text{Uniform}$ Distribution

$def.$ $\text{Uniform}$ Distribution

均匀分布的概率密度函数为

$$f(x)= \frac{1}{b-a}\quad a<x<b $$

其中 $a,\ b$ 为参数,记作 $X\sim\mathbb{U}(a,b)$,利用定义不难求出均匀分布的数字特征

$$\begin{gather} &E(X) = \frac{a+b}{2}\\ &V(X) = \frac{(b-a)^2}{12} \end{gather} $$

$thm.$ Moment-generating Function of $\text{Uniform}$ Distribution

$X\sim\mathbb{U}(a,b)$,则

$$M_X(s) = \frac{e^{sb}-e^{sa}}{s(b-a)} $$

2.2. $\text{Exponential}$ Distribution

$def.$ $\text{Exponential}$ Distribution

指数分布的概率密度为

$$f(x) = \lambda e^{-\lambda x}\quad x>0 $$

其中 $\lambda > 0$ 为参数,称 $X$ 服从参数为 $\lambda$ 的指数分布,记作 $X\sim\mathbb{E}(\lambda)$. 利用矩生成函数不难算出指数分布的数字特征

$$\begin{gather} &E(X) = \frac{1}{\lambda}\\ &V(X) = \frac{1}{\lambda^2} \end{gather} $$



$thm.$ Memorilessness

$X\sim\mathbb{E}(\lambda)$,则

$$\forall s.\ t>0:P\{X>s+t\ |\ X>s\}=P\{X>t\} $$

$thm.$ Moment-generating Function of $\text{Exponential}$ Distribution

$X\sim\mathbb{E}(\lambda)$,则

$$M_X(s) = \frac{\lambda}{\lambda-s}\quad s<\lambda $$

$def.$ $\text{Geometric}$ Distribution

$X_n\sim\mathbb{G}(x_n;p)$,令 $p = \frac{\lambda}{n}$,则对于 $t>0,\ n\geq1$,有

$$\lim_{n\rightarrow\infty}P\{X_n<nt\} = 1-e^{-\lambda t} $$

2.3. $\text{Normal}$ Distribution

$def.$ $\text{Normal}$ Distribution

正态分布的概率密度为

$$f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\quad -\infty<x<+\infty $$

其中,$\mu,\sigma$ 为参数,记作 $X\sim\mathbb{N}(\mu,\sigma^2)$. 利用二重积分不难得到正态分布的数字特征

$$\begin{gather} &E(X) = \mu\\ &V(X) = \sigma^2 \end{gather} $$

$thm.$ Symmetry

为了方便,记标准正态分布的概率密度函数和分布函数分别为 $\phi(x)$$\Phi(x)$

$$\begin{gather} &\phi(x) = \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}\\ &\Phi(x) = \int_{-\infty}^{x}\phi(x)dx \end{gather} $$

则有

$$\Phi(x) + \Phi(-x) = 1 $$

$thm.$ Normalization

$X\sim\mathbb{N}(\mu,\sigma^2)$,则

$$Z = \frac{X-\mu}{\sigma}\sim\mathbb{N}(0,1) $$


$thm.$ Moment-generating Function of $\text{Normal}$ Distribution

$X\sim\mathbb{N}(\mu,\sigma^2)$,则

$$M_X(s) = \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right) $$

$thm.$ $\text{Binomial}$ Distribution: As a $\text{Normal}$ Distribution with Infinitesimal Time-steps

$$\lim_{n\rightarrow\infty}\mathbb{B}(n,p) = \mathbb{N}(\mu,\sigma^2) $$

其中,$\mu = np,\ \sigma^2 = np(1-p)$


$thm.$ $\text{Poisson}$ Distribution: As a $\text{Normal}$ Distribution with Infinitesimal Time-steps

$$\lim_{n\rightarrow\infty}\pi(\lambda) = \mathbb{N}(\mu,\sigma^2) $$

其中 $\sigma^2 = \lambda$