8. Multivariate Probability Distribution

Chentian Wu

2022-10-29

CS › Data Science

\huge\textbf{Multivariate Probability Distribution}

1. 多维概率分布

1.1. 联合分布

$$def.$$ 二维随机变量

设样本空间为 $\Omega = e$ ， $$X = X(e)$$ ，和 $$Y = Y(e)$$ ，是定义在 $\Omega$ 上的随机变量，由他们构成的一个变量 $$(X,Y)$$ 叫做二维随机变量或二维随机向量

$$def.$$ 联合分布

设 $$(X,Y)$$ 是二维随机变量， $$x,y$$ 是任意实数，称二元函数

F(x,y) = P(X\leq x\cap Y\leq y) = P(X\leq x,Y\leq y)

为二元随机变量 $$(X,Y)$$ 的联合分布函数

$$def.$$ 二维离散随机变量概率分布律

若二维随机变量的可能取值只有有限个或者可列无穷个，则称二维随机变量为离散型随机变量。二维离散型随机变量 $$(X,Y)$$ 的所有可能取值为 $$(x_i,y_i),(i=1,2,\dots,n)$$ ，则称

P\{X = x_i,Y = y_i\} = p_{ij}

为二维离散行随机变量 $$(X,Y)$$ 的概率分布律，简称分布律

注意，二维离散随机变量的概率分布仍然满足概率的公理化定义：非负性，规范性，可列可加性（级数）

$$def.$$ 二位连续随机变量的概率密度

设二维随机变量 $$(X,Y)$$ 的分布函数为 $$F(x,y)$$ ，如果存在非负函数 $$f(x,y)$$ ，使得 $\forall x,y\in\mathbb{R}$ ，都有

F(x,y) = \int_{-\infty}^{x}\int_{-\infty}^{y}f(s,t)dsdt

则称 $$(X,Y)$$ 为二位连续随机变量，并称非负函数 $$f(x,y)$$ 为 $$(X,Y)$$ 的概率密度函数，或称 $$f(x,y)$$ 为 $$X$$ 和 $$Y$$ 的联合概率密度.

注意，二维连续随机变量的概率分布仍然满足概率的公理化定义：非负性，规范性，可列可加性（级数），在此基础上，我们还有
$f(x,y) = \frac{\partial^2F(x,y)}{\partial x\partial y}$

1.2. 边缘分布

$$def.$$ 二维随机变量的边缘分布

设 $$(X,Y)$$ 为二维随机变量，称一维随机变量 $$X$$ 或 $$Y$$ 的概率分布为二维随机变量 $$(X,Y)$$ 关于 $$X$$ 或 $$Y$$ 对应的边缘分布，分别记作 $$F_X(x), F_Y(y)$$

$$def.$$ 二维离散随机变量的边缘分布律

设二维随机变量 $$(X,Y)$$ 的分布律为 $p_{ij}$ ，那么对于随机变量 $$X$$ ， $$Y$$ 其各自的分布律对于固定的 $$i,j = 1,2,\dots$$ ，满足

P\{X=x_i\} = \sum_jp_{ij}=p_i

则称 $$p_i$$ 为随机变量 $$(X,Y)$$ 的边缘分布律。

$$def.$$ 二维连续随机变量的边缘概率密度

设二维随机变量 $$(X,Y)$$ 的概率密度为 $$f(x,y)$$ ，边缘概率密度 $$f_X(x)$$ 和 $$f_Y(y)$$ 定义为

\begin{align} &f_X(x) = \int_{-\infty}^{+\infty}f(x,y)dy\\ &f_Y(y) = \int_{-\infty}^{+\infty}f(x,y)dx \end{align}

1.3. 条件分布

$$def.$$ 离散型随机变量的条件概率

设 $$(X,Y)$$ 是二维离散型随机变量，其分布律为 $P\{X=x_i,Y=y_i\}=p_{ij}$ ，其边缘概率分别为 $p_{i\cdot}\ p_{\cdot j}$ ，则条件概率定义为

\begin{align} &P\{X=x_i|Y=y_i\}=\frac{P\{X=x_i,Y=y_i\}}{P\{Y=y_i\}} = \frac{p_{ij}}{p_{\cdot j}}\\ &P\{Y=y_i|X=x_i\}=\frac{P\{X=x_i,Y=y_i\}}{P\{X=x_i\}} = \frac{p_{ij}}{p_{i \cdot}} \end{align}

$$def.$$ 连续型随机变量的条件概率

设 $$(X,Y)$$ 是二维连续型随机变量，其概率密度为 $$f(x,y)$$ ，其边缘改率分别为 $$f_X(x), f_Y(y)$$ ，则条件概率定义为

\begin{align} &f_{X|Y}(x|y) = \frac{f(x,y)}{f_Y(y)}\\ &f_{Y|X}(y|x) = \frac{f(x,y)}{f_X(x)}\\ \end{align}

连续型随机变量的条件概率分布定义为

\begin{align} &F_{X|Y}(x|y) = P\{X\leq x|Y=y\}=\int_{-\infty}^{x}\frac{f(x,y)}{f_Y(y)}dx\\ &F_{Y|X}(y|x) = P\{Y\leq y|X=x\}=\int_{-\infty}^{y}\frac{f(x,y)}{f_X(x)}dy\\ \end{align}

1.4. 独立性

$$def.$$ 独立性

二维随机变量 $$(X,Y)$$ 的分布函数及其边缘分布函数分别设为 $$F(x,y)$$ 和 $F_X(x),\ F_Y(y)$ ，若

\forall (x,y):F(x,y) = F_X(x)F_Y(y)

则称随机变量 $$X$$ 和 $$Y$$ 是相互独立的

$$def.$$ 离散随机变量的独立性

离散二维随机变量 $$(X,Y)$$ 的联合分布律和边缘分布律分别设为 $p_{ij}$ 和 $p_{i\cdot},\ p_{\cdot j}$ ，若

\forall (i，j):p_{ij} = p_{i\cdot}\times p_{\cdot j}

则称随机变量 $$X$$ 和 $$Y$$ 是相互独立的

$$def.$$ 连续随机变量的独立性

连续二维随机变量 $$(X,Y)$$ 的联合分布律和边缘分布律分别设为 $$f(x,y)$$ 和 $f_X(x),\ f_Y(y)$ ，若

\forall (x,y):f(x,y) = f_X(x)\times f_Y(y)

则称随机变量 $$X$$ 和 $$Y$$ 是相互独立的

2. 多维分布的矩

2.1. 独立性的多维矩

$$thm.$$ 已知 $$X$$ 和 $$Y$$ 相互独立，则有：

$$E(XY) = E(X)E(Y) $$

$$thm.$$ 已知 $$X$$ 和 $$Y$$ 相互独立，则有：

$$D(X+Y) = D(X) + D(Y) $$

2.2. 相关性的多维矩

$$def.$$ 协方差

随机变量 $$X$$ 和 $$Y$$ 的协方差定义为

\operatorname{Cov}(X,Y)\triangleq E(X-E(X))E(Y-E(Y))

$$def.$$ 协方差计算

\operatorname{Cov}(X,Y) = E(XY)-E(X)E(Y)

$$inf.$$ 对于任意随机变量 $$X,Y,Z$$ ，不难得出：

\begin{align} \operatorname{Cov}(X,Y)&=Cov(Y,X)\\ \operatorname{Cov}(a,a)&=0\\ \operatorname{Cov}(aX,bY)&=ab\operatorname{Cov}(X,Y)\\ \operatorname{Cov}(X+Y,Z)&=\operatorname{Cov}(X,Z)+\operatorname{Cov}(Y,Z) \end{align}

$$inf.$$ 对于任意随机变量 $$X,Y:$$

D(X\pm Y)=D(X)+D(Y)\pm 2\operatorname{Cov}(X,Y)

$$inf.$$ 若 $$X$$ 与 $$Y$$ 相互独立，则：

\operatorname{Cov}(X,Y) = 0

$$def.$$ $\text{Pearson}$ 相关系数

关于 $\text{Pearson}$ 相关系数的更具体的介绍, 可以查看我的这篇文章

协方差的数值会收到 $$X,Y$$ 的量纲的影响，为了更加客观地度量变量之间的关系，我们将协方差归一化，定义为相关系数。若随机变量 $$X$$ 和 $$Y$$ 的数学期望和方差都存在，则称：

\rho_{XY}=\frac{\operatorname{Cov}(X,Y)}{\sqrt{D(X)D(Y)}}\\

为随机变量 $$X$$ 和 $$Y$$ 的相关系数

$$def.$$ $\text{Schwarz}$ 不等式

\operatorname{Cov}^2(X,Y)\leq \sigma^2_X\sigma^2_Y\\

$$inf.$$ 相关系数归一性

|\rho_{XY}|\leq 1\\

$$thm.$$ 线性相关定理

$|\rho_{XY}|=1$ 的充要条件是 $$X,Y$$ 几乎处处线性相关

3. Common Bivariate Distributions

3.1. Bivariate Uniform Distribution

$$def.$$ 二维均匀分布

设 $$G$$ 是平面上的有界闭区域，其面积为 $$A$$ ，若二维随机变量 $$(X,Y)$$ 具有概率密度

\begin{align} &\forall(x,y)\in G:f(x,y)=\frac{1}{A}\\ &\forall(x,y)\not \in G:f(x,y) = 0\\ \end{align}

则称 $$(X,Y)$$ 在 $$G$$ 上二维均匀分布

3.2. Bivariate Normal Distribution

如果随机变量 $$(X,Y)$$ 的概率密度为

\begin{gather} &f(x,y) = \frac{1}{2\pi\sigma_1\sigma_2\sqrt{1-\rho^2}}\exp\left({-\frac{1}{2(1-\rho)^2}\bigg[\frac{(x-\mu_1)^2}{\sigma_1^2}-2\rho\frac{(x-\mu_1)(y-\mu_2)}{\sigma_1\sigma_2}+\frac{(y-\mu_2)^2}{\sigma_2^2}\bigg]}\right)\\ &(-\infty<x,y<+\infty)\\ \end{gather}

则称 $$(X,Y)$$ 服从参数为 $\mu_1,\mu_2,\sigma_1,\sigma_2,\rho$ 的二维正态分布，记为

(X,Y)\sim \mathbb{N}(\mu_1,\mu_2,\sigma_1^2,\sigma_2^2,\rho)\\

实际上, Multivariate Normal distribution 的形式也是高度类似的. 如果 $$d$$ 维随机变量 $\boldsymbol X=(X_1,X_2,\ldots,X_d)^{\mathsf T}$ 服从 Normal Distribution, 那我们记作

\boldsymbol X\sim\mathbb N(\boldsymbol \mu,\Sigma)

概率密度函数 (PDF) 为

f_{X}\left(\boldsymbol x\right)=\frac{\exp \left(-\frac{1}{2}(\boldsymbol{x}-\boldsymbol{\mu})^{\mathsf T} \Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu})\right)}{\sqrt{(2 \pi)^{d}| \Sigma|}}

其中:

$\boldsymbol \mu\in \mathbb R^d$ 为 $\boldsymbol x\in \mathbb R^d$ 的均值向量
$\boldsymbol \Sigma\in \mathbb R^{d\times d}$ 为 $\boldsymbol x\in \mathbb R^d$ 的协方差矩阵

实际上, $\sqrt{(\boldsymbol{x}-\boldsymbol{\mu})^{\mathsf T} \Sigma^{-1}(\boldsymbol{x}-\boldsymbol{\mu}})$ 叫做马哈拉诺比斯距离 ( $\text{Mahalanobis}$ Distance)

4. 函数的概率分布

4.1. 离散函数的分布

4.2. 连续函数的分布

$$thm.$$ 函数的分布定理

$$X$$ 的密度函数为 $$f_X(x)$$ ， $-\infty<x<+\infty$ ， $$Y = g(X)$$ 严格单调，即 $$g'(x)>0 $$ 或 $$ g'(x)<0$$ ，则 $$Y$$ 的密度函数为：

f_Y(x) = f_X(h(y))|h'(y)|\quad (a<y<b)

其中

\begin{align} &a = \min(g(-\infty),g(+\infty))\\ &b = \max(g(-\infty),\ g(+\infty))\\ &h(y) = g^{-1}(x) \end{align}

1. 多维概率分布

1.1. 联合分布

1.2. 边缘分布

1.3. 条件分布

1.4. 独立性

2. 多维分布的矩

2.1. 独立性的多维矩

2.2. 相关性的多维矩

3. Common Bivariate Distributions

3.1. Bivariate Uniform Distribution

3.2. Bivariate Normal Distribution

4. 函数的概率分布

4.1. 离散函数的分布

4.2. 连续函数的分布

4.3. 极值函数的分布