8. Multivariate Probability Distribution

$$\huge\textbf{Multivariate Probability Distribution}$$

1. 多维概率分布

1.1. 联合分布

$def.$ 二维随机变量

设样本空间为 $\Omega = e$，$X = X(e)$，和 $Y = Y(e)$，是定义在 $\Omega$ 上的随机变量，由他们构成的一个变量 $(X,Y)$ 叫做二维随机变量或二维随机向量

$def.$ 联合分布

设 $(X,Y)$ 是二维随机变量， $x,y$ 是任意实数，称二元函数

$$F(x,y) = P(X\leq x\cap Y\leq y) = P(X\leq x,Y\leq y)$$

为二元随机变量 $(X,Y)$ 的联合分布函数

$def.$ 二维离散随机变量概率分布律

若二维随机变量的可能取值只有有限个或者可列无穷个，则称二维随机变量为离散型随机变量。二维离散型随机变量 $(X,Y)$ 的所有可能取值为 $(x_i,y_i),(i=1,2,…,n)$，则称

$$P\{X = x_i,Y = y_i\} = p_{ij}$$

为二维离散行随机变量 $(X,Y)$ 的概率分布律，简称分布律

注意，二维离散随机变量的概率分布仍然满足概率的公理化定义：非负性，规范性，可列可加性（级数）

$def.$ 二位连续随机变量的概率密度

设二维随机变量 $(X,Y)$ 的分布函数为 $F(x,y)$，如果存在非负函数 $f(x,y)$，使得 $\forall x,y\in\mathbb{R}$，都有

$$F(x,y) = \int_{-\infty}^{x}\int_{-\infty}^{y}f(s,t)dsdt$$

则称 $(X,Y)$ 为二位连续随机变量，并称非负函数 $f(x,y)$ 为 $(X,Y)$ 的概率密度函数，或称 $f(x,y)$ 为 $X$ 和 $Y$ 的联合概率密度.

注意，二维连续随机变量的概率分布仍然满足概率的公理化定义：非负性，规范性，可列可加性（级数），在此基础上，我们还有

$$f(x,y) = \frac{\partial^2F(x,y)}{\partial x\partial y}$$

1.2. 边缘分布

$def.$ 二维随机变量的边缘分布

设 $(X,Y)$ 为二维随机变量，称一维随机变量 $X$ 或 $Y$ 的概率分布为二维随机变量 $(X,Y)$ 关于 $X$ 或 $Y$ 对应的边缘分布，分别记作 $F_X(x), F_Y(y)$

$def.$ 二维离散随机变量的边缘分布律

设二维随机变量 $(X,Y)$ 的分布律为 $p_{ij}$，那么对于随机变量 $X$，$Y$ 其各自的分布律对于固定的 $i,j = 1,2,…$， 满足

$$P\{X=x_i\} = \sum_jp_{ij}=p_i$$

则称 $p_i$ 为随机变量 $(X,Y)$ 的边缘分布律。

$def.$ 二维连续随机变量的边缘概率密度

设二维随机变量 $(X,Y)$ 的概率密度为 $f(x,y)$，边缘概率密度 $f_X(x)$ 和 $f_Y(y)$ 定义为

$$\begin{align} &f_X(x) = \int_{-\infty}^{+\infty}f(x,y)dy\\ &f_Y(y) = \int_{-\infty}^{+\infty}f(x,y)dx \end{align}$$

1.3. 条件分布

$def.$ 离散型随机变量的条件概率

设 $(X,Y)$ 是二维离散型随机变量，其分布律为 $P\{X=x_i,Y=y_i\}=p_{ij}$，其边缘概率分别为 $p_{i\cdot}\ p_{\cdot j}$，则条件概率定义为

$$\begin{align} &P\{X=x_i|Y=y_i\}=\frac{P\{X=x_i,Y=y_i\}}{P\{Y=y_i\}} = \frac{p_{ij}}{p_{\cdot j}}\\ &P\{Y=y_i|X=x_i\}=\frac{P\{X=x_i,Y=y_i\}}{P\{X=x_i\}} = \frac{p_{ij}}{p_{i \cdot}} \end{align}$$

$def.$ 连续型随机变量的条件概率

设 $(X,Y)$ 是二维连续型随机变量，其概率密度为 $f(x,y)$，其边缘改率分别为 $f_X(x), f_Y(y)$，则条件概率定义为

$$\begin{align} &f_{X|Y}(x|y) = \frac{f(x,y)}{f_Y(y)}\\ &f_{Y|X}(y|x) = \frac{f(x,y)}{f_X(x)}\\ \end{align}$$

连续型随机变量的条件概率分布定义为

$$\begin{align} &F_{X|Y}(x|y) = P\{X\leq x|Y=y\}=\int_{-\infty}^{x}\frac{f(x,y)}{f_Y(y)}dx\\ &F_{Y|X}(y|x) = P\{Y\leq y|X=x\}=\int_{-\infty}^{y}\frac{f(x,y)}{f_X(x)}dy\\ \end{align}$$

1.4. 独立性

$def.$ 独立性

二维随机变量 $(X,Y)$ 的分布函数及其边缘分布函数分别设为 $F(x,y)$ 和 $F_X(x),\ F_Y(y)$，若

$$\forall (x,y):F(x,y) = F_X(x)F_Y(y)$$

则称随机变量 $X$ 和 $Y$ 是相互独立的

$def.$ 离散随机变量的独立性

离散二维随机变量 $(X,Y)$ 的联合分布律和边缘分布律分别设为 $p_{ij}$ 和 $p_{i\cdot},\ p_{\cdot j}$，若

$$\forall (i，j):p_{ij} = p_{i\cdot}\times p_{\cdot j}$$

则称随机变量 $X$ 和 $Y$ 是相互独立的

$def.$ 连续随机变量的独立性

连续二维随机变量 $(X,Y)$ 的联合分布律和边缘分布律分别设为 $f(x,y)$ 和 $f_X(x),\ f_Y(y)$，若

$$\forall (x,y):f(x,y) = f_X(x)\times f_Y(y)$$

则称随机变量 $X$ 和 $Y$ 是相互独立的

2. 多维分布的矩

2.1. 独立性的多维矩

$thm.$ 已知 $X$ 和 $Y$ 相互独立，则有：

$$E(XY) = E(X)E(Y)$$

$thm.$ 已知 $X$ 和 $Y$ 相互独立，则有：

$$D(X+Y) = D(X) + D(Y)$$

2.2. 相关性的多维矩

$def.$ 协方差

随机变量 $X$ 和 $Y$ 的协方差定义为

$$\operatorname{Cov}(X,Y)\triangleq E(X-E(X))E(Y-E(Y))$$

$def.$ 协方差计算

$$\operatorname{Cov}(X,Y) = E(XY)-E(X)E(Y)$$

$inf.$ 对于任意随机变量 $X,Y,Z$，不难得出：

$$\begin{align} \operatorname{Cov}(X,Y)&=Cov(Y,X)\\ \operatorname{Cov}(a,a)&=0\\ \operatorname{Cov}(aX,bY)&=ab\operatorname{Cov}(X,Y)\\ \operatorname{Cov}(X+Y,Z)&=\operatorname{Cov}(X,Z)+\operatorname{Cov}(Y,Z) \end{align}$$

$inf.$ 对于任意随机变量 $X,Y:$

$$D(X\pm Y)=D(X)+D(Y)\pm 2\operatorname{Cov}(X,Y)$$

$inf.$ 若 $X$ 与 $Y$ 相互独立，则：

$$\operatorname{Cov}(X,Y) = 0$$

$def.$ $\text{Pearson}$ 相关系数

关于 $\text{Pearson}$ 相关系数的更具体的介绍, 可以查看我的这篇文章

协方差的数值会收到 $X,Y$ 的量纲的影响，为了更加客观地度量变量之间的关系，我们将协方差归一化，定义为相关系数。若随机变量 $X$ 和 $Y$ 的数学期望和方差都存在，则称：

$$\rho_{XY}=\frac{\operatorname{Cov}(X,Y)}{\sqrt{D(X)D(Y)}}\\ $$

为随机变量 $X$ 和 $Y$ 的相关系数

$def.$ $\text{Schwarz}$ 不等式

$$\operatorname{Cov}^2(X,Y)\leq \sigma^2_X\sigma^2_Y\\ $$

$inf.$ 相关系数归一性

$$|\rho_{XY}|\leq 1\\ $$

$thm.$ 线性相关定理

$|\rho_{XY}|=1$ 的充要条件是 $X,Y$ 几乎处处线性相关

3. Common Bivariate Distributions

3.1. Bivariate Uniform Distribution

$def.$ 二维均匀分布

设 $G$ 是平面上的有界闭区域，其面积为 $A$，若二维随机变量 $(X,Y)$ 具有概率密度

$$\begin{align} &\forall(x,y)\in G:f(x,y)=\frac{1}{A}\\ &\forall(x,y)\not \in G:f(x,y) = 0\\ \end{align}$$

则称 $(X,Y)$ 在 $G$ 上二维均匀分布

3.2. Bivariate Normal Distribution

如果随机变量 $(X,Y)$ 的概率密度为

$$\begin{gather} &f(x,y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\left({-\frac{1}{2(1-\rho)^2}\bigg[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}\bigg]}\right)\\ &(-\infty<x,y<+\infty)\\ \end{gather}$$

则称 $(X,Y)$ 服从参数为 $\mu_1,\mu_2,\sigma_1,\sigma_2,\rho$ 的二维正态分布，记为

$$(X,Y)\sim \mathbb{N}(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)\\ $$

实际上, Multivariate Normal distribution 的形式也是高度类似的. 如果 $d$ 维随机变量 $\boldsymbol X=(X_1,X_2,\ldots,X_d)^{\mathsf T}$ 服从 Normal Distribution, 那我们记作

$$\boldsymbol X\sim\mathbb N(\boldsymbol \mu,\Sigma)$$

概率密度函数 (PDF) 为

$$f_{X}\left(\boldsymbol x\right)=\frac{\exp \left(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^{\mathsf T} \Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\right)}{\sqrt{(2 \pi)^{d}| \Sigma|}}$$

其中:

• $\boldsymbol \mu\in \mathbb R^d$ 为 $\boldsymbol x\in \mathbb R^d$ 的均值向量
• $\boldsymbol \Sigma\in \mathbb R^{d\times d}$ 为 $\boldsymbol x\in \mathbb R^d$ 的协方差矩阵

实际上, $\sqrt{(\boldsymbol{x}-\boldsymbol{\mu})^{\mathsf T} \Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu}})$ 叫做马哈拉诺比斯距离 ($\text{Mahalanobis}$ Distance)

4. 函数的概率分布

4.1. 离散函数的分布

4.2. 连续函数的分布

$thm.$ 函数的分布定理

$X$ 的密度函数为 $f_X(x)$，$-\infty<x<+\infty$，$Y = g(X)$ 严格单调，即 $g'(x)>0$ 或 $g'(x)<0$，则 $Y$ 的密度函数为：

$$f_Y(x) = f_X(h(y))|h'(y)|\quad (a<y<b)$$

其中

$$\begin{align} &a = \min(g(-\infty),g(+\infty))\\ &b = \max(g(-\infty),\ g(+\infty))\\ &h(y) = g^{-1}(x) \end{align}$$

4.3. 极值函数的分布