2. Foundations of Probability

Chentian Wu

2022-10-29

CS › Data Science

1. Definitions

1.1. 集合表示

$$def.$$ Stochastic Event

样本空间 $\Omega$ 的任意一个子集 $\Omega'$ 称为随机事件, 简称事件. 记某次实验结果 $\omega$ , 当 $\omega\in\Omega'$ 时, 我们称这一事件 $\Omega'$ 发生

1.2. 古典概率

$$def.$$ 古典概率

$\Omega = \{\omega_1,\ \omega_2,\ …,\ \omega_n\}$ 有穷且每个样本点等可能，即 $P(\{\omega_i\}) = \frac{1}{n}$ ，则称这样的概率类型为古典概率

1.3. 几何概率

试验可能结果是欧几里得空间中的点，所有样本点的集合 $\Omega$ 是此空间中的一个几何图形，满足条件 $0<m(\Omega)<+\infty$ ，这里 $m(\Omega)$ 表示该集合的勒贝格测度 (如长度，面积，体积等). 对 $\Omega$ 的任何可测子集 $$A$$ 的几何概率定义为

P(A) = \frac{m(A)}{m(\Omega)}

1.4. 概率公理化

$$def.$$ 概率公理化定义

随机试验样本空间为 $\Omega$ ，任意事件 $$A$$ 赋予一实数 $$P(A)$$ ，满足下列三个条件

非负性： $P(A)\geq0$
规范性： $P(\Omega) = 1$
可列可加性：若事件 $A_k(k = 1,\ 2,\ …,\infty)$ 两两不相容，则
$P(\bigcup_{i = 1}^{\infty}A_i) = \displaystyle\sum_{i = 1}^{n}P(A_i)$

称 $P:\mathscr{F}\rightarrow\mathbb{R}$ 为概率函数, 简称概率

$$lemma.$$ 空集为零

P(\varnothing) = 0

$$lemma.$$ 互补性

P(\overline{A}) = 1-P(A)

$$lemma.$$ 单调性

设 $$A, B$$ 是两个事件，则

A\subseteq B \implies P(A)\leq P(B)

$$lemma.$$ 可拆性

对于任意两个随机事件 $E_1,\ E_2$

P(E_1\cup E_2) = P(E_1)+P(E_2)- P(E_1\cap E_2)

$$lemma.$$ 事件概率的估计

对任意有限或可列无穷的事件序列 $$E_1,E_2, \dots,E_n$$ ，总有

P\bigg(\bigcup_{i>1}E_i\bigg)\leq\sum_{i\geq1}P(E_i)

2. Calculations

2.1. 条件概率

$$def.$$ 条件概率

对于事件 $$A$$ 和 $$B$$ , 若 $P(B) \not= 0$ ，称

P(A|B) = \frac{P(AB)}{P(B)}

2.2. 乘法公式

$$def.$$ 乘法公式

若 $$P(A_1)>0$$ ，则 $$P(A_1A_2)= P(A_1)P(A_2|A_1)$$ ，一般地，我们有

P(\prod_{i = 1}^{n}A_i) = P(A_1)P(A_2|A_1)P(A_3|A_1A_2)…P(A_n|A_1A_2A_3…A_{n-1})

2.3. Law of total probability

设 $B_k(k = 1,\ 2,\ …,\ n)$ 是样本空间 $\Omega$ 的一个完备事件组，且 $P(B_k)>0\ (k = 1,\ 2,\ …,\ n)$ ，则对于任意随机事件 $$A$$ ，有

P(A) = \sum_{i =1}^nP(B_i)P(A\mid B_i)

2.4. $\text{Bayes}$ 公式

设 $B_k(k = 1,\ 2,\ …,\ n)$ 是样本空间 $\Omega$ 的一个完备事件组，且 $P(B_k)>0\ (k = 1,\ 2,\ …,\ n)$ ，则对于任意随机事件 $A,\ P(A)>0$ , 有

P(B_i|A) = \frac{P(A|B_i)P(B_i)}{P(A)}

2.5. 独立性

$$def.$$ 独立性

一般地，若事件 $$A$$ 和 $$B$$ , 满足

$$P(AB)=P(A)P(B) $$

则称事件 $$A,B$$ 相互独立

一般地, 若事件 $A_k(k = 1,\ 2,\ …,\ n)$ 对于任意 $I\subset \{1,\ 2,\ …,\ n\}$ ，有

P(\bigcap_{i\in I}A_i) = \prod_{i\in I}P(A_i)

则称 $A_k(k = 1,\ 2,\ …,\ n)$ 相互独立

$$thm.$$ 独立性的另一定义

设 $$A$$ ， $$B$$ 是两个事件，且 $$P(A) > 0$$ ，则 $$A$$ ， $$B$$ 独立当且仅当

$$P(B|A) = P(B) $$

$$thm.$$ 独立性的推论

若事件 $$A$$ ， $$B$$ 独立，则对下列各对事件均相互独立

\begin{align} A\ &\&\ \overline{B}\\ \overline{A}\ &\&\ B\\ \overline{A}\ &\&\ \overline{B} \end{align}