2. Foundations of Probability

$$\huge\textbf{Foundations of Probability} $$

这篇随机过程笔记记录了基于集合论和测度论的概率定义

1. Definitions

1.1. 集合表示

$def.$ Stochastic Event

样本空间 $\Omega$ 的任意一个子集 $\Omega'$ 称为随机事件, 简称事件. 记某次实验结果 $\omega$ , 当 $\omega\in\Omega'$ 时, 我们称这一事件 $\Omega'$ 发生

1.2. 古典概率

$def.$ 古典概率

$\Omega = \{\omega_1,\ \omega_2,\ …,\ \omega_n\}$ 有穷且每个样本点等可能，即 $P(\{\omega_i\}) = \frac{1}{n}$，则称这样的概率类型为古典概率

1.3. 几何概率

试验可能结果是欧几里得空间中的点，所有样本点的集合 $\Omega$ 是此空间中的一个几何图形，满足条件 $0<m(\Omega)<+\infty$ ，这里 $m(\Omega)$ 表示该集合的勒贝格测度 (如长度，面积，体积等). 对 $\Omega$ 的任何可测子集 $A$ 的几何概率定义为

$$P(A) = \frac{m(A)}{m(\Omega)} $$

1.4. 概率公理化

$def.$ 概率公理化定义

随机试验样本空间为 $\Omega$ ，任意事件 $A$ 赋予一实数 $P(A)$，满足下列三个条件

1. 非负性：$P(A)\geq0$

2. 规范性：$P(\Omega) = 1$

3. 可列可加性：若事件 $A_k(k = 1,\ 2,\ …,\infty)$ 两两不相容，则

   $$P(\bigcup_{i = 1}^{\infty}A_i) = \displaystyle\sum_{i = 1}^{n}P(A_i) $$

称 $P:\mathscr{F}\rightarrow\mathbb{R}$ 为概率函数, 简称概率

$lemma.$ 空集为零

$$P(\varnothing) = 0 $$

$lemma.$ 互补性

$$P(\overline{A}) = 1-P(A) $$

$lemma.$ 单调性

设 $A, B$ 是两个事件，则

$$A\subseteq B \implies P(A)\leq P(B) $$

$lemma.$ 可拆性

对于任意两个随机事件 $E_1,\ E_2$

$$P(E_1\cup E_2) = P(E_1)+P(E_2)- P(E_1\cap E_2) $$

$lemma.$ 事件概率的估计

对任意有限或可列无穷的事件序列 $E_1,E_2, …,E_n$，总有

$$P\bigg(\bigcup_{i>1}E_i\bigg)\leq\sum_{i\geq1}P(E_i) $$

2. Calculations

2.1. 条件概率

$def.$ 条件概率

对于事件 $A$ 和 $B$ , 若 $P(B) \not= 0$，称

$$P(A|B) = \frac{P(AB)}{P(B)} $$

2.2. 乘法公式

$def.$ 乘法公式

若 $P(A_1)>0$，则 $P(A_1A_2)= P(A_1)P(A_2|A_1)$ ，一般地，我们有

$$P(\prod_{i = 1}^{n}A_i) = P(A_1)P(A_2|A_1)P(A_3|A_1A_2)…P(A_n|A_1A_2A_3…A_{n-1}) $$

2.3. Law of total probability

设 $B_k(k = 1,\ 2,\ …,\ n)$ 是样本空间 $\Omega$ 的一个完备事件组，且 $P(B_k)>0\ (k = 1,\ 2,\ …,\ n)$，则对于任意随机事件 $A$ ，有

$$P(A) = \sum_{i =1}^nP(B_i)P(A\mid B_i) $$

2.4. $\text{Bayes}$ 公式

设 $B_k(k = 1,\ 2,\ …,\ n)$ 是样本空间 $\Omega$ 的一个完备事件组，且 $P(B_k)>0\ (k = 1,\ 2,\ …,\ n)$，则对于任意随机事件 $A,\ P(A)>0$, 有

$$P(B_i|A) = \frac{P(A|B_i)P(B_i)}{P(A)} $$

2.5. 独立性

$def.$ 独立性

一般地，若事件 $A$ 和 $B$ , 满足

$$P(AB)=P(A)P(B) $$

则称事件 $A,B$ 相互独立

一般地, 若事件 $A_k(k = 1,\ 2,\ …,\ n)$ 对于任意 $I\subset \{1,\ 2,\ …,\ n\}$，有

$$P(\bigcap_{i\in I}A_i) = \prod_{i\in I}P(A_i) $$

则称 $A_k(k = 1,\ 2,\ …,\ n)$ 相互独立

$thm.$ 独立性的另一定义

设 $A$，$B$ 是两个事件，且 $P(A) > 0$ ，则 $A$，$B$ 独立当且仅当

$$P(B|A) = P(B) $$

$thm.$ 独立性的推论

若事件 $A$，$B$ 独立，则对下列各对事件均相互独立

$$\begin{align} A\ &\&\ \overline{B}\\ \overline{A}\ &\&\ B\\ \overline{A}\ &\&\ \overline{B} \end{align} $$