$$\huge\textbf{Common Probability Distribution}
$$
1. Discrete Probability Distribution
1.1. $\text{Bernoulli}$ Distribution
$def.$ $\text{Bernoulli}$ Distribution
随机变量 $X$ 服从参数 $p$ 的伯努利分布，若：
$$P\{X = k\} = p^k(1-p)^{1-k}\quad k \in \{0,\ 1\}
$$
记作
$$X\sim \operatorname{Bern}(p)
$$
$thm.$ Moment-generating Function of $\text{Bernoulli}$ Distribution
$X$ 为伯努利分布随机变量，则
$$M_X(s) = (1-p)+pe^s
$$
1.2. $\text{Binomial}$ Distribution
$def.$ $\text{Binomial}$ Distribution
随机变量 $X$ 服从参数 $n,\ p$ 的二项分布，若
$$P\{X = k\} = \binom{n}{k}p^k(1-p)^{n-k}\quad k \in \mathbb N
$$
其中 $n,\ p$ 为参数，记为 $X\sim \mathbb{B}(n,\ p)$. 特别地，利用微分恒等式可以得到二项分布的数字特征
$$\begin{align}
E(X) &= np\\
V(X) &= np(1-p)
\end{align}
$$
$thm.$ Moment-generating Function of $\text{Binomial}$ Distribution
$X\sim \mathbb{B}(n,\ p)$，则
$$M_X(s) = (pe^s+1-p)^n
$$
$thm.$ Addition Rule of $\text{Binomial}$ Distribution
两二项分布随机变量 $X\sim \mathbb{B}(m,\ p), Y\sim\mathbb{B}(n,\ p)$ 相互独立，则有
$$X+Y\sim\mathbb{B}(m+n,\ p)
$$
1.3. $\text{Poisson}$ Distribution
$def.$ $\text{Poisson}$ Distirbution
泊松分布的概率分布律为
$$P\{X = k\} = \frac{\lambda^k}{k!}e^{-\lambda}\quad k\in \mathbb N\cup\{0\}
$$
其中 $\lambda$ 为参数，记作 $X\sim \pi(\lambda)$. 利用简单的变形可得泊松分布的数字特征
$$\begin{gather}
&E(X) = \lambda\\
&V(X) = \lambda
\end{gather}
$$
$thm.$ Moment-generating Function of $\text{Poisson}$ Distribution
$X\sim\pi(\lambda)$，则
$$M_X(s) = e^{\lambda(e^s - 1)}
$$
$thm.$ As a $\text{Binomial}$ Distribution with Infinitesimal Time-steps
设 $\lambda>0$ 是一个常数，$n$ 为正整数，若 $np_n$ 近似为 $\lambda$ ，则对于任意固定的非负整数 $k$，有
$$\lim_{n\rightarrow \infty}\binom{n}{k}p_n^k(1-p_n)^{n-k}=\frac{\lambda^k}{k!}e^{-\lambda}
$$
1.4. $\text{Geometric}$ Distribution
$def.$ $\text{Geometric}$ Distribution
几何分布的概率分布律为
$$P\{X=k\}=(1-p)^{k-1}p\quad k\in \mathbb N
$$
其中 $p$ 为参数，记作 $X\sim\mathbb{G}(p)$. 利用等比数列求和错位相减得到几何分布的数字特征
$$\begin{gather}
&E(X) = \frac{1}{p}\\
&V(x) = \frac{1-p}{p^2}
\end{gather}
$$
$thm.$ Memorilessness
取值为正整数的随机变量 $X$ 服从几何分布，当且仅当 $X$ 有无记忆性
$$\forall m,\ n\geq0: P\{X>m+n\ |\ X>m\} = P\{X>n\}
$$
$thm.$ Moment-generating Function of $\text{Geometric}$ Distribution
$X\sim\mathbb{G}(p)$ ，则
$$M_X(s) = \frac{pe^s}{1-(1-p)e^s}
$$
1.5. $\text{Negative-Binomial}$ ($\text{Pascal}$) Distribution
$def.$ $\text{Negative-Binomial}$ Distribution
Generalized $\text{Geometric}$ Distribution
随机变量 $X$ 服从参数为 $r$ 和 $p$ 的负二项分布，其概率分布律为
$$\mathbb{NB}(k;r,p) = \binom{k-1}{n-r}(1-p)^{k-r}p^r\quad k = r,\ r+1,\ldots
$$
记作 $X\sim\mathbb{NB}(r,\ p)$. 特别地，利用组合恒等式不难求出负二项分布的数字特征
$$\begin{gather}
E(X) = \frac{r}{p}\\
V(X) = \frac{r(1-p)}{p^2}
\end{gather}
$$
$thm.$ As a $\text{Poisson}$ Distribution with Infinitesimal Time-steps
令 $p = \displaystyle \frac{r}{\lambda+r}$，则
$$\begin{align}
&\lim_{r\rightarrow\infty}\mathbb{NB}(k';r,p)\\
= &\lim_{r\rightarrow\infty}\binom{k'+r-1}{k'}(1-p)^{k'}p^r = \pi(k';\lambda)
\end{align}
$$
1.6. $\text{Hyper-Geometric}$ Distribution
$def.$ $\text{Hyper-Geometric}$ Distribution
超几何分布的概率分布律为
$$P(X=i) = \frac{\binom{m}{i}\binom{N-m}{n-i}}{\binom{N}{n}}\quad i\in \mathbb N
$$
其中参数 $n,\ N,\ m$ 均为正整数且 $m\le N,\ n\le N$，记作 $X\sim\mathbb{H}(N,n,m)$. 特别地，利用极大似然估计不难得到超几何分布的数字特征
$$\begin{gather}
&E(X) = \frac{nm}{N}\\
&V(X) = \frac{nm}{N}\bigg(\frac{(n-1)(m-1)}{N-1}+1-\frac{nm}{N}\bigg)
\end{gather}
$$
$thm.$ As a $\text{Binomial}$ Distribution with Infinitesimal Time-steps
$$\lim_{n\rightarrow\infty}\mathbb{H}(N,M,n)=\mathbb{B}(n,p)
$$
其中 $\frac{M}{N}=p$
2. Continuous Probability Distribution
2.1. $\text{Uniform}$ Distribution
$def.$ $\text{Uniform}$ Distribution
均匀分布的概率密度函数为
$$f(x)= \frac{1}{b-a}\quad a<x<b
$$
其中 $a,\ b$ 为参数，记作 $X\sim\mathbb{U}(a,b)$，利用定义不难求出均匀分布的数字特征
$$\begin{gather}
&E(X) = \frac{a+b}{2}\\
&V(X) = \frac{(b-a)^2}{12}
\end{gather}
$$
$thm.$ Moment-generating Function of $\text{Uniform}$ Distribution
$X\sim\mathbb{U}(a,b)$，则
$$M_X(s) = \frac{e^{sb}-e^{sa}}{s(b-a)}
$$
2.2. $\text{Exponential}$ Distribution
$def.$ $\text{Exponential}$ Distribution
指数分布的概率密度为
$$f(x) = \lambda e^{-\lambda x}\quad x>0
$$
其中 $\lambda > 0$ 为参数，称 $X$ 服从参数为 $\lambda$ 的指数分布，记作 $X\sim\mathbb{E}(\lambda)$. 利用矩生成函数不难算出指数分布的数字特征
$$\begin{gather}
&E(X) = \frac{1}{\lambda}\\
&V(X) = \frac{1}{\lambda^2}
\end{gather}
$$
$thm.$ Memorilessness
$X\sim\mathbb{E}(\lambda)$，则
$$\forall s.\ t>0:P\{X>s+t\ |\ X>s\}=P\{X>t\}
$$
$thm.$ Moment-generating Function of $\text{Exponential}$ Distribution
$X\sim\mathbb{E}(\lambda)$，则
$$M_X(s) = \frac{\lambda}{\lambda-s}\quad s<\lambda
$$
$def.$ $\text{Geometric}$ Distribution
$X_n\sim\mathbb{G}(x_n;p)$，令 $p = \frac{\lambda}{n}$，则对于 $t>0,\ n\geq1$，有
$$\lim_{n\rightarrow\infty}P\{X_n<nt\} = 1-e^{-\lambda t}
$$
2.3. $\text{Normal}$ Distribution
$def.$ $\text{Normal}$ Distribution
正态分布的概率密度为
$$f(x) = \frac{1}{\sqrt{2\pi}\sigma}e^{-\frac{(x-\mu)^2}{2\sigma^2}}\quad -\infty<x<+\infty
$$
其中，$\mu,\sigma$ 为参数，记作 $X\sim\mathbb{N}(\mu,\sigma^2)$. 利用二重积分不难得到正态分布的数字特征
$$\begin{gather}
&E(X) = \mu\\
&V(X) = \sigma^2
\end{gather}
$$
$thm.$ Symmetry
为了方便，记标准正态分布的概率密度函数和分布函数分别为 $\phi(x)$ 和 $\Phi(x)$
$$\begin{gather}
&\phi(x) = \frac{1}{\sqrt{2\pi}}e^{-\frac{x^2}{2}}\\
&\Phi(x) = \int_{-\infty}^{x}\phi(x)dx
\end{gather}
$$
则有
$$\Phi(x) + \Phi(-x) = 1
$$
$thm.$ Normalization
若 $X\sim\mathbb{N}(\mu,\sigma^2)$，则
$$Z = \frac{X-\mu}{\sigma}\sim\mathbb{N}(0,1)
$$
$thm.$ Moment-generating Function of $\text{Normal}$ Distribution
若 $X\sim\mathbb{N}(\mu,\sigma^2)$，则
$$M_X(s) = \exp\left(\mu t + \frac{\sigma^2t^2}{2}\right)
$$
$thm.$ $\text{Binomial}$ Distribution: As a $\text{Normal}$ Distribution with Infinitesimal Time-steps
$$\lim_{n\rightarrow\infty}\mathbb{B}(n,p) = \mathbb{N}(\mu,\sigma^2)
$$
其中，$\mu = np,\ \sigma^2 = np(1-p)$
$thm.$ $\text{Poisson}$ Distribution: As a $\text{Normal}$ Distribution with Infinitesimal Time-steps
$$\lim_{n\rightarrow\infty}\pi(\lambda) = \mathbb{N}(\mu,\sigma^2)
$$
其中 $\sigma^2 = \lambda$