3. Random Variable

Chentian Wu

2022-10-29

CS › Data Science

\huge\textbf{Random Variable}

1. 数据分布与概率分布

1.1. 数据分布

数据分布的一般性定义: 从特定数据到一般规律的抽象。

1.2. 随机变量

$$def.$$ 随机变量

给定的样本空间为 $\Omega = \{\omega\}$ ，若对于每一个样本点 $\omega \in\Omega$ ，都有唯一确定的 $X(\omega)$ 与之对应，则称 $X(\omega)$ 是一个随机变量，简记为 $$X$$ , 即：

X: \Omega\rightarrow X(\Omega)

$$def.$$ 分布函数

随机变量 $$X$$ 的分布函数定义为

F(x) = P(X\leq x) \ \ \ (x\in\mathbb{R})

$$lemma.$$ 分布函数基本性质

对于任意随机变量 $$X$$ ，其分布函数 $$F(x)$$ 具有以下的性质：

\begin{align*} &(1)\quad\forall x\in \mathbb{R},0\le F(x)\le 1 \\ &(2)\quad \forall x_1\leq x_2,F(x_1)\leq F(x_2)\\ &(3)\quad \forall x_0\in\mathbb{R},F(x_0) = \lim_{x\rightarrow x_0^{+}} F(x)\\ &(4)\quad F(-\infty) = \lim_{x\rightarrow - \infty}F(x) = 0,\ F(+\infty) = \lim_{x\rightarrow + \infty}F(x) = 1 \end{align*}

1.3. 离散随机变量

$$def.$$ 离散型随机变量

一个随机变量的可能（概率非零）取值至多可列个，则称它为离散型随机变量。 $$X=x_i$$ 的概率标记为

P(X = x_i) = p_i\\(i = 1,2,3,…)

1.4. 连续随机变量

$$def.$$ 连续随机变量

对于随机变量 $$X$$ 及其分布函数 $$F(x)$$ ，如存在非负可积函数 $$f(x)$$ ，满足 $\forall x:F(x) = \int_{-\infty}^{+\infty}f(t)dt$ ，则称 $$X$$ 为连续随机变量， $$f(x)$$ 称为 $$X$$ 的概率密度函数

$$thm.$$ 连续随机变量性质

若 $$F$$ 在点 $$x$$ 处连续，则 $$F'(x) = f(x)$$
连续随机变量 $$X$$ 的任意一点概率为 $$0$$ , 即有
$\forall x:P(X=x)=0$

1.5. 随机变量的函数的分布

$$thm.$$ 函数的分布定理

$$X$$ 的密度函数为 $$f_X(x)$$ ， $-\infty<x<+\infty$ ， $$Y = g(X)$$ 严格单调，即 $$g'(x)>0$$ 或 $$g'(x)<0$$ ，则 $$Y$$ 的密度函数为：

f_Y(x) = f_X(h(y))|h'(y)|\ \ \ (a<y<b)

其中

\begin{align} &a = min(g(-\infty),g(+\infty))\\ &b = max(g(-\infty),\ g(+\infty))\\ &h(y) = g^{-1}(x) \end{align}

2. 期望与矩

2.1. 原点矩

$$def.$$ 原点矩

给定一批数据 $$x_1,x_2,x_3,\dots,x_n$$ ，其 $$k$$ 阶原点矩 $A_k \triangleq \frac{1}{n}\displaystyle{\sum_{i = 1}^{n}x_i^k}$

$$def.$$ Expected Value

离散随机变量 $$X$$ 的数学期望定义为

E(X)= \displaystyle{\sum_{i = 1}^\infty}x_ip_i

连续随机变量 $$X$$ 的数学期望定义为

E(X) = \int_{-\infty}^{+\infty}xf(x)dx

这里要求 $\displaystyle{\sum_{i = 1}^\infty}x_ip_i$ 和 $\int_{-\infty}^{+\infty}xf(x)dx$ 绝对收敛

$$thm.$$ Properties

随机变量的数学期望有如下性质

$E(C) = C \ (C\in \mathbb{R})$
$E(CX) = CE(X)\ (C\in \mathbb{R})$
$E(X\pm Y) = E(X)\pm E(Y)$
$E(XY) = E(X)E(Y) \ iff.X,Y\ are\ independent$

2.2. 中心矩

$$def.$$ 中心矩

给定随机变量 $$X$$ ，若 $$E((X-E(X))^k)$$ 存在，则其 $$k$$ 阶中心矩定义为 $$E((X-E(X))^k)$$

$$def.$$ 方差与标准差

$$X$$ 随机变量的二姐中心矩为方差，记作 $\sigma^2(X)$ 或 $$Var(X)$$ 或 $$D(X)$$ ，而 $\sqrt{Var(X)}$ 称为 $$X$$ 的标准差，记为 $\sigma(X)$

$$thm.$$ Calculation

$$D(X) = E(X^2) - E^2(X) $$

$$thm.$$ Properties

设 $$C$$ 为常数, 则 $$D(C) = 0$$
设 $$X$$ 是随机变量, $$C$$ 是常数, 则
$\begin {array}{c} D(X+C)=D(X)\\ D(CX) = C^2D(X) \end {array}$
设随机变量 $$X$$ 与 $$Y$$ 相互独立, 则：
$D(X\pm Y) = D(X) + D(Y)$

3. 矩的数学工具

3.1. 微分恒等式

$$def.$$ 微分恒等式法

$\alpha,\beta,\omega$ 是一些参数， $\exists c\in\mathbb{N},s.t.n_{min},n_{max}\leq c$ ，设

\displaystyle{\sum_{n = n_{min}}^{n_{max}}}f(n;\alpha,\beta,…,\omega)= g(\alpha,\beta,…,\omega)

其中 $$f$$ 和 $$g$$ 是关于 $\alpha$ 的可微函数. 如果 $$f$$ 退化到足以保证求和和求微分的次序可以交换，则

\displaystyle{\sum_{n = n_{min}}^{n_{max}}}\frac{\partial f(n;\alpha,\beta,…,\omega)}{\partial\alpha}= \frac{\partial g(\alpha,\beta,…,\omega)}{\partial\alpha}

3.2. 矩生成函数

$$def.$$ 矩生成函数

随机变量 $$X$$ 的矩生成函数

M_X(s) := E(e^{sX})

其中 $$M_X(s)$$ 存在 $\iff \exists\delta\in\mathbb{R},s.t. \forall s\in [-\delta,\delta],M_X(s) \ is\ finite$

$$thm.$$ 矩生成定理

假设随机变量 $$X$$ 的矩生成函数 $$M_X(s)$$ 存在，则：

A_k = E(X^k) = {\frac{d^k}{dx^k}M_X(s)}\bigg{|}_{s=0}

3.3. 矩生成函数的性质

$$thm.$$ 矩生成函数唯一性定理

对于两随机变量 $$X$$ 和 $$Y$$ ，假设存在常数 $\delta$ ，使得 $$M_X(s)$$ 和 $$M_Y(s)$$ 对于任意 $s\in[-\delta,\ \delta]$ 存在且相等，则 $$X$$ 和 $$Y$$ 的分布函数相等，即

\forall t\in \mathbb{R} :F_X(t) = F_Y(t)

$$thm.$$ 矩生成函数可加性定理

$X_i(i = 1,\ 2,\ …,\ n)$ 为独立随机变量，则

M_{ {\sum_{i =1}^{n} }X_i(s)} = \displaystyle{\prod_{i= 1}^{n} }M_{X_i}(s)