3. Random Variable

$$\huge\textbf{Random Variable} $$

1. 数据分布与概率分布

1.1. 数据分布

数据分布的一般性定义: 从特定数据到一般规律的抽象。

1.2. 随机变量

$def.$ 随机变量

给定的样本空间为 $\Omega = \{\omega\}$,若对于每一个样本点 $\omega \in\Omega$,都有唯一确定的 $X(\omega)$ 与之对应,则称 $X(\omega)$ 是一个随机变量,简记为 $X$, 即:

$$X: \Omega\rightarrow X(\Omega) $$

$def.$ 分布函数

随机变量 $X$ 的分布函数定义为

$$F(x) = P(X\leq x) \ \ \ (x\in\mathbb{R}) $$

$lemma.$ 分布函数基本性质

对于任意随机变量 $X$,其分布函数 $F(x)$ 具有以下的性质:

$$\begin{align*} &(1)\quad\forall x\in \mathbb{R},0\le F(x)\le 1 \\ &(2)\quad \forall x_1\leq x_2,F(x_1)\leq F(x_2)\\ &(3)\quad \forall x_0\in\mathbb{R},F(x_0) = \lim_{x\rightarrow x_0^{+}} F(x)\\ &(4)\quad F(-\infty) = \lim_{x\rightarrow - \infty}F(x) = 0,\ F(+\infty) = \lim_{x\rightarrow + \infty}F(x) = 1 \end{align*} $$

1.3. 离散随机变量

$def.$ 离散型随机变量

一个随机变量的可能(概率非零)取值至多可列个,则称它为离散型随机变量。$X=x_i$ 的概率标记为

$$P(X = x_i) = p_i\\(i = 1,2,3,…) $$

1.4. 连续随机变量

$def.$ 连续随机变量

对于随机变量 $X$ 及其分布函数 $F(x)$,如存在非负可积函数 $f(x)$,满足 $\forall x:F(x) = \int_{-\infty}^{+\infty}f(t)dt$ ,则称 $X$ 为连续随机变量,$f(x)$ 称为 $X$ 的概率密度函数


$thm.$ 连续随机变量性质

  1. $F$ 在点 $x$ 处连续,则 $F'(x) = f(x)$

  2. 连续随机变量 $X$ 的任意一点概率为 $0$ , 即有

    $$\forall x:P(X=x)=0 $$

1.5. 随机变量的函数的分布

$thm.$ 函数的分布定理

$X$ 的密度函数为 $f_X(x)$$-\infty<x<+\infty$$Y = g(X)$ 严格单调,即 $g'(x)>0$$g'(x)<0$,则 $Y$ 的密度函数为:

$$f_Y(x) = f_X(h(y))|h'(y)|\ \ \ (a<y<b) $$

其中

$$\begin{align} &a = min(g(-\infty),g(+\infty))\\ &b = max(g(-\infty),\ g(+\infty))\\ &h(y) = g^{-1}(x) \end{align} $$

2. 期望与矩

2.1. 原点矩

$def.$ 原点矩

给定一批数据 $x_1,x_2,x_3,…,x_n$,其 $k$ 阶原点矩 $A_k \triangleq \frac{1}{n}\displaystyle{\sum_{i = 1}^{n}x_i^k}$


$def.$ Expected Value

离散随机变量 $X$ 的数学期望定义为

$$E(X)= \displaystyle{\sum_{i = 1}^\infty}x_ip_i $$

连续随机变量 $X$ 的数学期望定义为

$$E(X) = \int_{-\infty}^{+\infty}xf(x)dx $$

这里要求 $\displaystyle{\sum_{i = 1}^\infty}x_ip_i$$\int_{-\infty}^{+\infty}xf(x)dx$ 绝对收敛


$thm.$ Properties

随机变量的数学期望有如下性质

  1. $E(C) = C \ (C\in \mathbb{R})$
  2. $E(CX) = CE(X)\ (C\in \mathbb{R})$
  3. $E(X\pm Y) = E(X)\pm E(Y)$
  4. $E(XY) = E(X)E(Y) \ iff.X,Y\ are\ independent$

2.2. 中心矩

$def.$ 中心矩

给定随机变量 $X$,若 $E((X-E(X))^k)$ 存在,则其 $k$ 阶中心矩定义为 $E((X-E(X))^k)$


$def.$ 方差与标准差

$X$ 随机变量的二姐中心矩为方差,记作 $\sigma^2(X)$$Var(X)$$D(X)$ ,而 $\sqrt{Var(X)}$ 称为 $X$ 的标准差,记为 $\sigma(X)$


$thm.$ Calculation

$$D(X) = E(X^2) - E^2(X) $$

$thm.$ Properties

  1. $C$ 为常数, 则 $D(C) = 0$

  2. $X$ 是随机变量, $C$ 是常数, 则

    $$\begin {array}{c} D(X+C)=D(X)\\ D(CX) = C^2D(X) \end {array} $$
  3. 设随机变量 $X$$Y$ 相互独立, 则:

    $$D(X\pm Y) = D(X) + D(Y) $$

3. 矩的数学工具

3.1. 微分恒等式

$def.$ 微分恒等式法

$\alpha,\beta,\omega$ 是一些参数,$\exists c\in\mathbb{N},s.t.n_{min},n_{max}\leq c$,设

$$\displaystyle{\sum_{n = n_{min}}^{n_{max}}}f(n;\alpha,\beta,…,\omega)= g(\alpha,\beta,…,\omega) $$

其中 $f$$g$ 是关于 $\alpha$ 的可微函数. 如果 $f$ 退化到足以保证求和和求微分的次序可以交换,则

$$\displaystyle{\sum_{n = n_{min}}^{n_{max}}}\frac{\partial f(n;\alpha,\beta,…,\omega)}{\partial\alpha}= \frac{\partial g(\alpha,\beta,…,\omega)}{\partial\alpha} $$

3.2. 矩生成函数

$def.$ 矩生成函数

随机变量 $X$ 的矩生成函数

$$M_X(s) := E(e^{sX}) $$

其中 $M_X(s)$ 存在 $\iff \exists\delta\in\mathbb{R},s.t. \forall s\in [-\delta,\delta],M_X(s) \ is\ finite$


$thm.$ 矩生成定理

假设随机变量 $X$ 的矩生成函数 $M_X(s)$ 存在,则:

$$A_k = E(X^k) = {\frac{d^k}{dx^k}M_X(s)}\bigg{|}_{s=0} $$

3.3. 矩生成函数的性质

$thm.$ 矩生成函数唯一性定理

对于两随机变量 $X$$Y$ ,假设存在常数 $\delta$ ,使得 $M_X(s)$$M_Y(s)$ 对于任意 $s\in[-\delta,\ \delta]$ 存在且相等,则 $X$$Y$ 的分布函数相等,即

$$\forall t\in \mathbb{R} :F_X(t) = F_Y(t) $$

$thm.$ 矩生成函数可加性定理

$X_i(i = 1,\ 2,\ …,\ n)$ 为独立随机变量,则

$$M_{ {\sum_{i =1}^{n} }X_i(s)} = \displaystyle{\prod_{i= 1}^{n} }M_{X_i}(s) $$