$$\huge\textbf{Parameter Estimation}
$$
1. Point Estimation
1.1. Method of Moments
$def.$ 矩估计
随机变量 $X$ 服从某总体分布，其中包含 $k$ 个未知参数，$θ_i(i = 1, 2, … , k), \ μ_l = E(X^l)$ 为总体的 $l$ 阶矩。$X_i(i = 1, 2, … , n)$ 是来自于 $X$ 的样本，那么求解以下方程组得到的估计值 $θ_i(i = 1, 2, …, k)$ 的方法称为矩估计法。
$$μ_i = A_i(i = 1, 2, …<span class="bd-box"><h-char class="bd bd-beg"><h-inner>，</h-inner></h-char></span> k)
$$
$thm.$ 矩估计定理
设随机变量 $X$ 的数学期望和 $μ$ 和方差 $σ^2$ 都存在，且有估计量 $σ^2>0$。$μ$ 和 $σ^2$ 均未知。$X_i(i = 1, 2, …<span class="bd-box"><h-char class="bd bd-beg"><h-inner>，</h-inner></h-char></span> n)$ 为来自 $X$ 的样本。则 $μ$ 和 ${σ}^2$ 的估计量分别为
$$\hat{μ} = \overline{X} \quad \hat{σ}^2 = \frac{1}{n}\sum_{i = 1}^{n}(X_i - \overline{X})^2
$$
1.2. Maximum Likelihood Estimation
MLE 是通过最大化一个似然函数来估计一个概率分布的参数, 使得在假设的统计模型下, 观测数据最有可能出现. 形式化地, 从条件概率的角度说, MLE 的似然函数 $\mathcal L$ 有定义为
$$\mathcal L(\theta\mid X)=p(X\mid \theta)
$$
其中 $p$ 为概率密度函数, $X$ 为随机变量, $\theta$ 为全体待估计的参数. 具体来说:
- $\theta$ 固定, $p(X|\theta)$ 看作是 $X$ 的函数, 也就是 PDF (概率密度函数)
- $X$ 固定, $\mathcal L(\theta|X)$ 看作是关于 $\theta$ 的函数, 也就是似然函数
$thm.$ 极大似然估计
$x$ 是样本值, $θ$ 为需要估计的总体参数, $\mathcal L$ 为似然函数, 极大似然估计的等式定义如下：
$$\hatθ_{MLE}(x) = \underset{θ\in\Theta}{\operatorname{argmax}}\mathcal L(θ)
$$
其中，对于随机变量 $X$, 似然函数 $\mathcal L(θ) = \displaystyle\prod_{i = 1}^nP(X = x_i|\theta)$. 但是考虑到计算时, 多个概率连乘很可能造成浮点下溢, 我们往往用对数函数来进行估计, 即
$$\begin {align}
\hatθ_{MLE}(x) &= \underset{θ\in\Theta}{\operatorname{argmax}}\ln \mathcal L(θ\mid X)\\
&=\underset{θ\in\Theta}{\operatorname{argmax}}\sum_{x_i\in X}\ln p(x_i\mid \theta)
\end {align}
$$
$thm.$ $\text{Poisson}$ 分布极大似然估计定理
设 $X\sim\pi(\lambda)$ , $X_i(i = 1,2,…,n)$ 为 $X$ 的一个样本,则$\hat{\lambda} = \overline{X}$
$thm.$ $\text{Exponential}$ 分布极大似然估计定理
设 $X\sim\mathbb{E}(\lambda)$ , $X_i(i = 1,2,…,n)$为 $X$ 的一个样本, 则$\displaystyle \hat{\lambda} = \frac{1}{\overline{X}}$
$thm.$ $\text{Gaussian}$ 分布极大似然估计定理
设 $X\sim\mathbb{N}(\mu,\sigma^2)$ , $X_i(i = 1,2,…,n)$ 为 $X$ 的一个样本, 则
$$\begin{align}
\hat{μ} &= \overline{X}\\
\hat{σ}^2 &= \frac{1}{n}\sum_{i = 1}^{n}(X_i - \overline{X})^2
\end{align}
$$
$thm.$ $\text{Uniform}$ 分布极大似然估计定理
设 $X\sim\mathbb{U}(a,b)$ , $X_i(i = 1,2,…,n)$ 为 $X$ 的一个样本, 则 $a$ 和 $b$ 的极大似然估计分别为 $\displaystyle\min_i{X_i}$ ，$\displaystyle\max_i{X_i}$
1.3. Truncated Estimation
截尾估计
1.4. Estimation Analysis
我们需要度量估计的好坏.
$def.$ 估计的无偏性
无偏估计指的是估计量抽样分布的数学期望等于被估总体参数。即对于 $\hat\theta(X_1,\ X_2, …<span class="bd-box"><h-char class="bd bd-beg"><h-inner>，</h-inner></h-char></span>\ X_n)$，$E(\hat\theta)$ 存在且有
$$E(\hat{\theta}) = \theta
$$
则称 $\hat\theta$ 为 $\theta$ 的无偏估计
$lemma.$
$X_i(i = 1,2,…,n)$为 $X$ 的一个样本, $g(x)$ 是 $x$ 的函数且 $E(g(X_i))$ 和 $Var(g(X_i))$ 存在, 则
$$\begin{align}
E(\sum_{i = 1}^ng(X_i)) &= n(E(g(X_1)))\\
Var(\sum_{i = 1}^ng(X_i)) &= n(Var(g(X_1)))
\end{align}
$$
$thm.$
设总体 $X$ 的均值是 $\mu$ ，方差为 $\sigma^2$，$X_i(i = 1,2,…,n)$为 $X$ 的一个样本，则：
（1）$E(\overline{X}) = \mu$ ( $\overline X$ 是 $\mu$ 的无偏估计)
（2）$V(\overline{X})=\frac{\sigma^2}{n}$
（3）$E(S^2)=\sigma^2$ （$S^2$ 是 $\sigma^2$ 的无偏估计）
其中，$S^2$要考虑偏差，有 $S^2 = \displaystyle \frac{1}{n - 1}\displaystyle\sum_{i = 1}^{n}(X_i - \overline{X})^2$
$thm.$
设总体 $X$ 的 $k$ 阶矩 $\mu_k = E(X^k)$，$k \geq 1$ 存在，无论总体服从什么分布，$k$ 阶样本矩$A_k = \frac{1}{n}\displaystyle\sum_{i = 1}^nX_i^k$ 是 $k$ 阶总体矩 $\mu_k$ 的无偏估计
$def.$ 估计的有效性
对于总体未知参数的两个无偏估计量，相应抽样分布的方差小视为更有效，即，若 $\hat\theta_1<span class="bd-box"><h-char class="bd bd-beg"><h-inner>，</h-inner></h-char></span>\hat\theta_2$ 为 $\theta$ 的两个无偏估计，有
$$V(\hat\theta_1) < V(\hat\theta_2)
$$
则称 $\hat\theta_1$ 比 $\hat\theta_2$ 更有效
$def.$ 估计的一致性（类比于一致收敛）
一致性是指随着样本容量 $n$ 增大，估计量越来越接近总体参数。即对于任意 $\epsilon > 0$ ，有
$$\lim_{n\rightarrow\infty}P(|\hat\theta - \theta|<\epsilon) = 1
$$
则称 $\hat\theta$ 是 $\theta$ 的一致性估计量
2. Interval Estimation
$def.$ 置信区间
设总体 $X$ 的分布$\ F(x;\theta)$ 中含有未知参数 $\theta$ ，若存在样本的两个估计量 $\underline{\theta}(X_i)$ 和 $\overline{\theta}(X_i)$ $(i = 1, \ 2,\ …,\ n)$ 使得对于给定的 $\alpha\ (0 < \alpha <1)$ ，有
$$P(\underline\theta<\theta<\overline\theta) = 1 - \alpha
$$
则称随机区间 $(\underline\theta<span class="bd-box"><h-char class="bd bd-beg"><h-inner>，</h-inner></h-char></span>\overline\theta)$ 为总体参数 $\theta$ 的置信水平为 $1 - \alpha$ 的（双侧）置信区间，$\underline\theta$ 和 $ \overline\theta$ 分别为置信下限和置信上限
2.1. 单总体均值区间估计
估计条件 1 $X\sim\mathbb{N}(\mu,\sigma^2)$ 且 $\sigma^2$ 已知，$\mu$ 未知
估计条件 2. $X\sim\mathbb{N}(\mu,\sigma^2)$ 且 $\sigma^2$，$\mu$ 未知
估计条件 3. $X$ 不服从 $\text{Gauss}$ 分布，但是样本容量较大（大于30）
2.2. 单总体方差区间估计
估计条件 1. $X\sim\mathbb{N}(\mu,\sigma^2)$ 且 $\sigma^2$，$\mu$ 未知
2.3. 双总体均值差区间估计
估计条件 1. $X\sim\mathbb{N}(\mu_1,\sigma_1^2)$ ，$Y\sim\mathbb{N}(\mu_2,\sigma_2^2)$ 且 $\sigma^2$，$\mu_1,\ \mu_2$ 未知，$\sigma_1^2,\ \sigma_2^2$ 已知
估计条件 2. $X\sim\mathbb{N}(\mu_1,\sigma_1^2)$ ，$Y\sim\mathbb{N}(\mu_2,\sigma_2^2)$ 且 $\sigma^2$$<span class="bd-box"><h-char class="bd bd-beg"><h-inner>，</h-inner></h-char></span>$$\mu_1,\ \mu_2$ 未知，$\sigma_1^2,\ \sigma_2^2$ 未知，但 $\sigma_1^2=\sigma_2^2$
估计条件3. $X$ 和 $Y$ 不服从 $\text{Gauss}$ 分布，但是样本容量均较大（大于30）
2.4. 双总体方差比区间估计
估计条件 1. $X\sim\mathbb{N}(\mu_1,\sigma_1^2)$ ，$Y\sim\mathbb{N}(\mu_2,\sigma_2^2)$ 且 $\sigma^2$，$\mu_1,\ \mu_2$ 未知，$\sigma_1^2,\ \sigma_2^2$ 未知
2.5. 二项分布区间估计（考察 $\text{Bernoulli}$分布正态逼近定理）
2.6. 单侧置信区间