4. Common Probability Distribution

Chentian Wu

2022-10-29

CS › Data Science

\huge\textbf{Common Probability Distribution}

1. Discrete Probability Distribution

1.1. $\text{Bernoulli}$ Distribution

$$def.$$ $\text{Bernoulli}$ Distribution

随机变量 $$X$$ 服从参数 $$p$$ 的伯努利分布，若：

P\{X = k\} = p^k(1-p)^{1-k}\quad k \in \{0,\ 1\}

记作

X\sim \operatorname{Bern}(p)

$$thm.$$ Moment-generating Function of $\text{Bernoulli}$ Distribution

$$X$$ 为伯努利分布随机变量，则

$$M_X(s) = (1-p)+pe^s $$

1.2. $\text{Binomial}$ Distribution

$$def.$$ $\text{Binomial}$ Distribution

随机变量 $$X$$ 服从参数 $n,\ p$ 的二项分布，若

P\{X = k\} = \binom{n}{k}p^k(1-p)^{n-k}\quad k \in \mathbb N

其中 $n,\ p$ 为参数，记为 $X\sim \mathbb{B}(n,\ p)$ . 特别地，利用微分恒等式可以得到二项分布的数字特征

\begin{align} E(X) &= np\\ V(X) &= np(1-p) \end{align}

$$thm.$$ Moment-generating Function of $\text{Binomial}$ Distribution

$X\sim \mathbb{B}(n,\ p)$ ，则

$$M_X(s) = (pe^s+1-p)^n $$

$$thm.$$ Addition Rule of $\text{Binomial}$ Distribution

两二项分布随机变量 $X\sim \mathbb{B}(m,\ p), Y\sim\mathbb{B}(n,\ p)$ 相互独立，则有

X+Y\sim\mathbb{B}(m+n,\ p)

1.3. $\text{Poisson}$ Distribution

$$def.$$ $\text{Poisson}$ Distirbution

泊松分布的概率分布律为

P\{X = k\} = \frac{\lambda^k}{k!}e^{-\lambda}\quad k\in \mathbb N\cup\{0\}

其中 $\lambda$ 为参数，记作 $X\sim \pi(\lambda)$ . 利用简单的变形可得泊松分布的数字特征

\begin{gather} &E(X) = \lambda\\ &V(X) = \lambda \end{gather}

$$thm.$$ Moment-generating Function of $\text{Poisson}$ Distribution

$X\sim\pi(\lambda)$ ，则

M_X(s) = e^{\lambda(e^s - 1)}

$$thm.$$ As a $\text{Binomial}$ Distribution with Infinitesimal Time-steps

设 $\lambda>0$ 是一个常数， $$n$$ 为正整数，若 $$np_n$$ 近似为 $\lambda$ ，则对于任意固定的非负整数 $$k$$ ，有

\lim_{n\rightarrow \infty}\binom{n}{k}p_n^k(1-p_n)^{n-k}=\frac{\lambda^k}{k!}e^{-\lambda}

1.4. $\text{Geometric}$ Distribution

$$def.$$ $\text{Geometric}$ Distribution

几何分布的概率分布律为

P\{X=k\}=(1-p)^{k-1}p\quad k\in \mathbb N

其中 $$p$$ 为参数，记作 $X\sim\mathbb{G}(p)$ . 利用等比数列求和错位相减得到几何分布的数字特征

\begin{gather} &E(X) = \frac{1}{p}\\ &V(x) = \frac{1-p}{p^2} \end{gather}

$$thm.$$ Memorilessness

取值为正整数的随机变量 $$X$$ 服从几何分布，当且仅当 $$X$$ 有无记忆性

\forall m,\ n\geq0: P\{X>m+n\ |\ X>m\} = P\{X>n\}

$$thm.$$ Moment-generating Function of $\text{Geometric}$ Distribution

$X\sim\mathbb{G}(p)$ ，则

M_X(s) = \frac{pe^s}{1-(1-p)e^s}

1.5. $\text{Negative-Binomial}$ ( $\text{Pascal}$ ) Distribution

$$def.$$ $\text{Negative-Binomial}$ Distribution

Generalized $\text{Geometric}$ Distribution

随机变量 $$X$$ 服从参数为 $$r$$ 和 $$p$$ 的负二项分布，其概率分布律为

\mathbb{NB}(k;r,p) = \binom{k-1}{n-r}(1-p)^{k-r}p^r\quad k = r,\ r+1,\ldots

记作 $X\sim\mathbb{NB}(r,\ p)$ . 特别地，利用组合恒等式不难求出负二项分布的数字特征

\begin{gather} E(X) = \frac{r}{p}\\ V(X) = \frac{r(1-p)}{p^2} \end{gather}

$$thm.$$ As a $\text{Poisson}$ Distribution with Infinitesimal Time-steps

令 $p = \displaystyle \frac{r}{\lambda+r}$ ，则

\begin{align} &\lim_{r\rightarrow\infty}\mathbb{NB}(k';r,p)\\ = &\lim_{r\rightarrow\infty}\binom{k'+r-1}{k'}(1-p)^{k'}p^r = \pi(k';\lambda) \end{align}

1.6. $\text{Hyper-Geometric}$ Distribution

$$def.$$ $\text{Hyper-Geometric}$ Distribution

超几何分布的概率分布律为

P(X=i) = \frac{\binom{m}{i}\binom{N-m}{n-i}}{\binom{N}{n}}\quad i\in \mathbb N

其中参数 $n,\ N,\ m$ 均为正整数且 $m\le N,\ n\le N$ ，记作 $X\sim\mathbb{H}(N,n,m)$ . 特别地，利用极大似然估计不难得到超几何分布的数字特征

\begin{gather} &E(X) = \frac{nm}{N}\\ &V(X) = \frac{nm}{N}\bigg(\frac{(n-1)(m-1)}{N-1}+1-\frac{nm}{N}\bigg) \end{gather}

$$thm.$$ As a $\text{Binomial}$ Distribution with Infinitesimal Time-steps

\lim_{n\rightarrow\infty}\mathbb{H}(N,M,n)=\mathbb{B}(n,p)

其中 $\frac{M}{N}=p$

2. Continuous Probability Distribution

2.1. $\text{Uniform}$ Distribution

$$def.$$ $\text{Uniform}$ Distribution

均匀分布的概率密度函数为

f(x)= \frac{1}{b-a}\quad a<x<b

其中 $a,\ b$ 为参数，记作 $X\sim\mathbb{U}(a,b)$ ，利用定义不难求出均匀分布的数字特征

\begin{gather} &E(X) = \frac{a+b}{2}\\ &V(X) = \frac{(b-a)^2}{12} \end{gather}

$$thm.$$ Moment-generating Function of $\text{Uniform}$ Distribution

$X\sim\mathbb{U}(a,b)$ ，则

M_X(s) = \frac{e^{sb}-e^{sa}}{s(b-a)}

2.2. $\text{Exponential}$ Distribution

$$def.$$ $\text{Exponential}$ Distribution

指数分布的概率密度为

f(x) = \lambda e^{-\lambda x}\quad x>0

其中 $\lambda > 0$ 为参数，称 $$X$$ 服从参数为 $\lambda$ 的指数分布，记作 $X\sim\mathbb{E}(\lambda)$ . 利用矩生成函数不难算出指数分布的数字特征

\begin{gather} &E(X) = \frac{1}{\lambda}\\ &V(X) = \frac{1}{\lambda^2} \end{gather}

$$thm.$$ Memorilessness

$X\sim\mathbb{E}(\lambda)$ ，则

\forall s.\ t>0:P\{X>s+t\ |\ X>s\}=P\{X>t\}

$$thm.$$ Moment-generating Function of $\text{Exponential}$ Distribution

$X\sim\mathbb{E}(\lambda)$ ，则

M_X(s) = \frac{\lambda}{\lambda-s}\quad s<\lambda

$$def.$$ $\text{Geometric}$ Distribution

$X_n\sim\mathbb{G}(x_n;p)$ ，令 $p = \frac{\lambda}{n}$ ，则对于 $t>0,\ n\geq1$ ，有

\lim_{n\rightarrow\infty}P\{X_n<nt\} = 1-e^{-\lambda t}

2.3. $\text{Normal}$ Distribution

$$def.$$ $\text{Normal}$ Distribution

正态分布的概率密度为

f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\quad -\infty<x<+\infty

其中， $\mu,\sigma$ 为参数，记作 $X\sim\mathbb{N}(\mu,\sigma^2)$ . 利用二重积分不难得到正态分布的数字特征

\begin{gather} &E(X) = \mu\\ &V(X) = \sigma^2 \end{gather}

$$thm.$$ Symmetry

为了方便，记标准正态分布的概率密度函数和分布函数分别为 $\phi(x)$ 和 $\Phi(x)$

\begin{gather} &\phi(x) = \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}\\ &\Phi(x) = \int_{-\infty}^{x}\phi(x)dx \end{gather}

则有

\Phi(x) + \Phi(-x) = 1

$$thm.$$ Normalization

若 $X\sim\mathbb{N}(\mu,\sigma^2)$ ，则

Z = \frac{X-\mu}{\sigma}\sim\mathbb{N}(0,1)

$$thm.$$ Moment-generating Function of $\text{Normal}$ Distribution