概率论与数理统计笔记（1）——事件的概率

wzf2000
2020年3月22日

概率论与数理统计笔记（1）——事件的概率

Chapter 1：事件的概率

1、概率的发展历史

• De Mere 问题
• Pascal，Fermat：首创数学理论
• 使用方法：初等组合方法（古典方法）
• Laplace：创立分析概率论（分析方法）
• Kolmogrov：发展现代理论（测度论方法）

2、试验与事件

试验

试验是真实的或假想的过程：

1. 不能预先确知结果。
2. 可预测所有可能结果。

样本空间

样本空间是一个试验的所有可能结果的集合。

一般用 $\Omega$ 表示。

（随机）事件

well defined subset $A \subset \Omega$。

1. 基本事件——单一试验结果。
2. 必要事件（全事件），$\Omega$。
3. 不可能事件（空事件），$\varnothing$。

3、事件的运算

借助集合语言。

补

$A^c$ 代表 $A$ 的余事件。

和与差

$A + B, A – B$

积（交）

$AB$

互斥

$AB = \varnothing$

对立

$$\left\{ \begin{array}{} AB = \varnothing \\ A + B = \Omega \end{array} \right. \Leftrightarrow B = A^c$$

4、概率的几种解释

古典解释

基于等可能性。

局限性：

1. “等可能”本质为概率。

2. 无系统方法设定概率。

   e.g.二人是否结婚。

   e.g.Bertrand 悖论。

频率解释

$\frac{m}{n} \to P$

主观解释

确信程度的度量。

Bayes 学派。

注：

1. 概率理论不依赖于解释。
2. 概率数学基础理论不依赖于解释。

5、公理化

事件集类

用 $2^{\Omega}$ 表示 $\Omega$ 的所有子集构成的集合。

事件集类 $\mathcal{F} \subset 2^{\Omega}$，满足其是 $\sigma$ 代数：运算封闭性。

特别地：$\sum\limits_{i = 1}^\infty A_i \in \mathcal{F}, \forall A_i \in \mathcal{F} (i = 1,\cdots)$。
$$e.g. \ \ \Omega = \{a, b, c, d\} \\ \mathcal{F} = \{\Omega, \varnothing, \{a, b\}, \{c, d\}\}$$
（这里的无穷是指可数多个）

概率

$$P : \mathcal{F} \to \mathbb{R}$$

满足下述公理：

1. $P(A) \ge 0, \forall A \in \mathcal{F}$
2. $P(\Omega) = 1$
3. $P(\sum\limits_{i = 1}^\infty A_i) = \sum\limits_{i = 1}^\infty P(A_i), \forall A_i \in \mathcal{F}, A_i A_j = \varnothing, \forall i \not = j$（互斥的）（加法公理）

注：$P$——概率函数。

推出命题

1. $P(A) \le 1, \forall A \in \mathcal{F}$
2. $P(\varnothing) = 0$
3. $P(A^c) = 1 – P(A)$
4. $P(\sum\limits_{i = 1}^n A_i) = \sum\limits_{i = 1}^n P(A_i), A_i A_j = \varnothing, \forall i \not = j$
5. $P(A) \le P(B), \forall A \subset B$
6. $P(A + B) = P(A) + P(B) – P(AB)$

推广（容斥恒等式）：
$$\begin{align*} P(A_1 + A_2 + \cdots + A_n) = \sum_{i = 1}^n P(A_i) – \sum_{i_1 < i_2} P(A_{i_1} A_{i_2}) \\ + \cdots + (-1)^{r + 1} \sum_{i_1 < i_2 < \cdots < i_r} P(A_{i_1} A_{i_2} \cdots A_{i_r}) \\ + \cdots + (-1)^{n + 1} P(A_1 A_2 \cdots A_n) \end{align*}$$ 在之后计算概率的过程中，要尽量使用概率的公理化定义，不要使用以前的思考方法。

6、古典概型

$e.g.$ 生日问题。

$e.g.$ 约会相遇。

$e.g.$ （编号分组）$n$ 人分成有编号的 $k$ 组，分别有 $r_1, r_2, \cdots, r_k$ 人，则分法有：
$$\dbinom{n}{r_1, r_2, \cdots, r_k} = \frac{n!}{r_1! r_2! \cdots r_k!} \text{（多项式系数）} \\ k = 2, r_2 = n – r_1, \dbinom{n}{r_1} = C_n^{r_1} = C_n^{r_2}$$
$e.g.$ （配对问题）$n$ 个人，每人一顶帽子，参会摘帽，会后随机取帽，无人拿到自己帽子的概率为？

记 $A_i =$ 第 $i$ 个人拿到自己的帽子。
$$P(A_i) = \frac{1}{n} = \frac{(n – 1)!}{n!}$$
至少一个人拿到自己的帽子的概率为：
$$\begin{align*} P(A_1 + A_2 + \cdots + A_n) = \sum_{i = 1}^n P(A_i) – \sum_{i_1 < i_2} P(A_{i_1} A_{i_2}) \\ + \cdots + (-1)^{r + 1} \sum_{i_1 < i_2 < \cdots < i_r} P(A_{i_1} A_{i_2} \cdots A_{i_r}) \\ + \cdots + (-1)^{n + 1} P(A_1 A_2 \cdots A_n) \end{align*} \\ P(A_{i_1} A_{i_2} \cdots A_{i_r}) = \frac{(n - r)!}{n!} \\ \sum_{i_1 < i_2 < \cdots < i_r} P(A_{i_1} A_{i_2} \cdots A_{i_r}) = \frac{(n - r)!}{n!} \cdot \dbinom{n}{r} = \frac{1}{r!} \\ P(A_1 + A_2 + \cdots + A_n) = 1 - \frac{1}{2!} + \frac{1}{3!} + \cdots + (-1)^{r + 1} \frac{1}{r!} + \cdots + (-1)^{n + 1} \frac{1}{n!} \\ \Rightarrow \text{所求 } P = 1 - [1 - \frac{1}{2!} + \frac{1}{3!} + \cdots + (-1)^{r + 1} \frac{1}{r!} + \cdots + (-1)^{n + 1} \frac{1}{n!}] \\ P \to e^{-1} (n \to \infty)$$ 问题：恰有 $k$ 个人拿到自己的帽子的概率为？

7、条件概率

$e.g.$ 掷骰子 $A = \{2, 3, 5\}, B = \{1, 3, 5\}$。
$$P(A) = \frac{1}{2} = P(B) \\ P(A | B) = \frac{2}{3} = \frac{P(AB)}{P(B)}$$
上述操作将样本空间进行了缩小。

定义

$$P(A | B) \stackrel{\triangle}{=} \frac{P(AB)}{P(B)}$$

注：需要 $P(B) > 0$：
1. 计算：
1. 改变样本空间（如 $e.g.$）；
2. 用定义。
2. $P(AB) = P(A | B) P(B) = P(B | A) P(A)$（乘法法则）

$e.g.$ $8$ 红 $4$ 白，无放回，等可能取 $2$ 球均为红球的概率为？
$$\frac{\binom{8}{2}}{\binom{12}{2}} = \frac{8 \times 7}{12 \times 11} \\ P(R_1) = \frac{8}{12}, P(R_2 | R_1) = \frac{7}{11} \\ \Rightarrow P(R_1 R_2) = P(R_1) P(R_2 | R_1) \\ = \frac{8 \times 7}{12 \times 11}$$

乘法法则推广

$$P(A_1 A_2 \cdots A_n) \\ = P(A_1) P(A_2 | A_1) P(A_3 | A_1 A_2) \cdots P(A_n | A_1 A_2 \cdots A_{n – 1})$$

$e.g.$ （配对问题）
$$\begin{align*} P(A_{i_1} A_{i_2} \cdots A_{i_r}) \\ = P(A_{i_1}) P(A_{i_2} | A_{i_1}) \cdots P(A_{i_r} | A_{i_1} \cdots A_{i_{r – 1}}) \\ = \frac{1}{n} \cdot \frac{1}{n – 1} \cdot \cdots \cdot \frac{1}{n – (r – 1)} = \frac{(n – r)!}{n!} \end{align*}$$

对于定义的思考

$$P(\cdot | B) : \mathcal{F} \to \mathbb{R} \\ A \to P(A | B)$$

命题：$P(\cdot | B)$ 为概率函数（给定 $B$）。

8、独立事件

定义

若 $A, B$ 事件满足：
$$P(AB) = P(A) P(B)$$
则称 $A, B$ 独立。

注：此时 $P(A | B) = P(A)$。（需 $P(B) > 0$）

直观解释

$$P(A | B) = \frac{P(AB)}{P(B)} \\ P(A) = \frac{P(A)}{P(\Omega)}$$

两者相等相当于面积比值相等。

注：
1. 若可从实际角度判别独立性，则可应用定义中的公式。
2. 通过定义判断独立性。
3. $A, B$ 独立 $\Rightarrow A, B^c$ 独立（留作练习）。

三事件独立定义

$A, B, C$ 独立：
$$\left\{ \begin{array}{} P(ABC) = P(A) P(B) P(C) \\ A, B, C \text{ 两两独立} \end{array} \right.$$

可数多个事件独立定义

$A_1, A_2, \cdots, A_n, \cdots$ 为有限个或可数个事件，若从中任取有限个 $A_{i_1}, \cdots, A_{i_m}$ 都成立：
$$P(A_{i_1} \cdots A_{i_m}) = P(A_{i_1}) \cdots P(A_{i_m})$$
则称 $A_1, A_2, \cdots$ 独立。

注：两两独立并不能推出独立。（留做练习）

$e.g.$ 彩票每周开奖，中奖率为 $10^{-5}$，十年（$520$ 周）未中奖的概率为？

$A_i =$ 第 $i$ 周不中奖。
$$\Rightarrow P(A_1 \cdots A_{520}) = (1 – 10^{-5})^{520} \\ \approx 0.9948$$

9、Bayes 公式

全概率公式

$$\sum_i B_i = \Omega, B_i B_j = \varnothing, \forall i \not = j$$

称为对 $\Omega$ 的一个分割。（$\forall i, P(B_i) > 0$）

注：$B_i$ 为有限个或可数个。

$$\begin{align*} P(A) = P(A (\sum_i B_i)) \\ = P(\sum_i (A B_i)) = \sum_i P(A B_i) \\ = \sum_i P(B_i) P(A | B_i) \end{align*}$$

$P(A) = \sum\limits_i P(B_i) P(A | B_i)$ 称为全概率公式。

$e.g.$ 敏感问题调查：
$$\frac{k}{n} \approx \frac{1}{2} p + \frac{1}{2} q \Rightarrow p \approx 2 \frac{k}{n} – q$$
$e.g.$ 假阳性悖论：
$$B = \text{患病}, A = \text{阳性}, P(B) = 10^{-4} \\ P(A | B) = 0.99, P(A | B^c) = 10^{-3} \\ P(B | A) = \frac{P(AB)}{P(A)} = \frac{P(B) P(A | B)}{P(B) P(A | B) + P(B^c) P(A | B^c)} \approx 9 \%$$

Bayes 公式

$$P(B_i | A) = \frac{P(B_i) P(A|B_i)}{\sum\limits_j P(B_j) P(A|B_j)}$$

注：$P(B_i)$——先验概率。
$P(B_i | A)$——后验概率。（修正）

 概统 笔记