$$\huge\textbf{Random Variable}
$$
1. 数据分布与概率分布
1.1. 数据分布
数据分布的一般性定义: 从特定数据到一般规律的抽象。
1.2. 随机变量
$def.$ 随机变量
给定的样本空间为 $\Omega = \{\omega\}$，若对于每一个样本点 $\omega \in\Omega$，都有唯一确定的 $X(\omega)$ 与之对应，则称 $X(\omega)$ 是一个随机变量，简记为 $X$, 即：
$$X: \Omega\rightarrow X(\Omega)
$$
$def.$ 分布函数
随机变量 $X$ 的分布函数定义为
$$F(x) = P(X\leq x) \ \ \ (x\in\mathbb{R})
$$
$lemma.$ 分布函数基本性质
对于任意随机变量 $X$，其分布函数 $F(x)$ 具有以下的性质：
$$\begin{align*}
&(1)\quad\forall x\in \mathbb{R},0\le F(x)\le 1 \\
&(2)\quad \forall x_1\leq x_2,F(x_1)\leq F(x_2)\\
&(3)\quad \forall x_0\in\mathbb{R},F(x_0) = \lim_{x\rightarrow x_0^{+}} F(x)\\
&(4)\quad F(-\infty) = \lim_{x\rightarrow - \infty}F(x) = 0,\ F(+\infty) = \lim_{x\rightarrow +
\infty}F(x) = 1
\end{align*}
$$
1.3. 离散随机变量
$def.$ 离散型随机变量
一个随机变量的可能（概率非零）取值至多可列个，则称它为离散型随机变量。$X=x_i$ 的概率标记为
$$P(X = x_i) = p_i\\(i = 1,2,3,…)
$$
1.4. 连续随机变量
$def.$ 连续随机变量
对于随机变量 $X$ 及其分布函数 $F(x)$，如存在非负可积函数 $f(x)$，满足 $\forall x:F(x) = \int_{-\infty}^{+\infty}f(t)dt$ ，则称 $X$ 为连续随机变量，$f(x)$ 称为 $X$ 的概率密度函数
$thm.$ 连续随机变量性质
-
若 $F$ 在点 $x$ 处连续，则 $F'(x) = f(x)$
-
连续随机变量 $X$ 的任意一点概率为 $0$ , 即有
$$\forall x:P(X=x)=0
$$
1.5. 随机变量的函数的分布
$thm.$ 函数的分布定理
$X$ 的密度函数为 $f_X(x)$，$-\infty<x<+\infty$，$Y = g(X)$ 严格单调，即 $g'(x)>0$ 或 $g'(x)<0$，则 $Y$ 的密度函数为：
$$f_Y(x) = f_X(h(y))|h'(y)|\ \ \ (a<y<b)
$$
其中
$$\begin{align}
&a = min(g(-\infty),g(+\infty))\\
&b = max(g(-\infty),\ g(+\infty))\\
&h(y) = g^{-1}(x)
\end{align}
$$
2. 期望与矩
2.1. 原点矩
$def.$ 原点矩
给定一批数据 $x_1,x_2,x_3,…,x_n$，其 $k$ 阶原点矩 $A_k \triangleq \frac{1}{n}\displaystyle{\sum_{i = 1}^{n}x_i^k}$
$def.$ Expected Value
离散随机变量 $X$ 的数学期望定义为
$$E(X)= \displaystyle{\sum_{i = 1}^\infty}x_ip_i
$$
连续随机变量 $X$ 的数学期望定义为
$$E(X) = \int_{-\infty}^{+\infty}xf(x)dx
$$
这里要求 $\displaystyle{\sum_{i = 1}^\infty}x_ip_i$ 和 $\int_{-\infty}^{+\infty}xf(x)dx$ 绝对收敛
$thm.$ Properties
随机变量的数学期望有如下性质
- $E(C) = C \ (C\in \mathbb{R})$
- $E(CX) = CE(X)\ (C\in \mathbb{R})$
- $E(X\pm Y) = E(X)\pm E(Y)$
- $E(XY) = E(X)E(Y) \ iff.X,Y\ are\ independent$
2.2. 中心矩
$def.$ 中心矩
给定随机变量 $X$，若 $E((X-E(X))^k)$ 存在，则其 $k$ 阶中心矩定义为 $E((X-E(X))^k)$
$def.$ 方差与标准差
$X$ 随机变量的二姐中心矩为方差，记作 $\sigma^2(X)$ 或 $Var(X)$ 或 $D(X)$ ，而 $\sqrt{Var(X)}$ 称为 $X$ 的标准差，记为 $\sigma(X)$
$thm.$ Calculation
$$D(X) = E(X^2) - E^2(X)
$$
$thm.$ Properties
-
设 $C$ 为常数, 则 $D(C) = 0$
-
设 $X$ 是随机变量, $C$ 是常数, 则
$$\begin {array}{c}
D(X+C)=D(X)\\
D(CX) = C^2D(X)
\end {array}
$$
-
设随机变量 $X$ 与 $Y$ 相互独立, 则：
$$D(X\pm Y) = D(X) + D(Y)
$$
3. 矩的数学工具
3.1. 微分恒等式
$def.$ 微分恒等式法
$\alpha,\beta,\omega$ 是一些参数，$\exists c\in\mathbb{N},s.t.n_{min},n_{max}\leq c$，设
$$\displaystyle{\sum_{n = n_{min}}^{n_{max}}}f(n;\alpha,\beta,…,\omega)= g(\alpha,\beta,…,\omega)
$$
其中 $f$ 和 $g$ 是关于 $\alpha$ 的可微函数. 如果 $f$ 退化到足以保证求和和求微分的次序可以交换，则
$$\displaystyle{\sum_{n = n_{min}}^{n_{max}}}\frac{\partial f(n;\alpha,\beta,…,\omega)}{\partial\alpha}= \frac{\partial g(\alpha,\beta,…,\omega)}{\partial\alpha}
$$
3.2. 矩生成函数
$def.$ 矩生成函数
随机变量 $X$ 的矩生成函数
$$M_X(s) := E(e^{sX})
$$
其中 $M_X(s)$ 存在 $\iff \exists\delta\in\mathbb{R},s.t. \forall s\in [-\delta,\delta],M_X(s) \ is\ finite$
$thm.$ 矩生成定理
假设随机变量 $X$ 的矩生成函数 $M_X(s)$ 存在，则：
$$A_k = E(X^k) = {\frac{d^k}{dx^k}M_X(s)}\bigg{|}_{s=0}
$$
3.3. 矩生成函数的性质
$thm.$ 矩生成函数唯一性定理
对于两随机变量 $X$ 和 $Y$ ，假设存在常数 $\delta$ ，使得 $M_X(s)$ 和 $M_Y(s)$ 对于任意 $s\in[-\delta,\ \delta]$ 存在且相等，则 $X$ 和 $Y$ 的分布函数相等，即
$$\forall t\in \mathbb{R} :F_X(t) = F_Y(t)
$$
$thm.$ 矩生成函数可加性定理
$X_i(i = 1,\ 2,\ …,\ n)$ 为独立随机变量，则
$$M_{ {\sum_{i =1}^{n} }X_i(s)} = \displaystyle{\prod_{i= 1}^{n} }M_{X_i}(s)
$$