概率论与数理统计笔记(1)——事件的概率

概率论与数理统计笔记(1)——事件的概率

Chapter 1:事件的概率

1、概率的发展历史

  • De Mere 问题
  • Pascal,Fermat:首创数学理论
  • 使用方法:初等组合方法(古典方法)
  • Laplace:创立分析概率论(分析方法)
  • Kolmogrov:发展现代理论(测度论方法)

2、试验与事件

试验

试验是真实的或假想的过程:

  1. 不能预先确知结果。
  2. 可预测所有可能结果。

样本空间

样本空间是一个试验的所有可能结果的集合。

一般用 $\Omega$ 表示。

(随机)事件

well defined subset $A \subset \Omega$。

  1. 基本事件——单一试验结果。
  2. 必要事件(全事件),$\Omega$。
  3. 不可能事件(空事件),$\varnothing$。

3、事件的运算

借助集合语言。

$A^c$ 代表 $A$ 的余事件。

和与差

$A + B, A – B$

积(交)

$AB$

互斥

$AB = \varnothing$

对立

$$
\left\{
\begin{array}{}
AB = \varnothing \\ A + B = \Omega
\end{array}
\right.
\Leftrightarrow B = A^c
$$

4、概率的几种解释

古典解释

基于等可能性。

局限性

  1. “等可能”本质为概率。

  2. 无系统方法设定概率。

    e.g.二人是否结婚。

    e.g.Bertrand 悖论。

频率解释

$\frac{m}{n} \to P$

主观解释

确信程度的度量。

Bayes 学派。

  1. 概率理论不依赖于解释。
  2. 概率数学基础理论不依赖于解释。

5、公理化

事件集类

用 $2^{\Omega}$ 表示 $\Omega$ 的所有子集构成的集合。

事件集类 $\mathcal{F} \subset 2^{\Omega}$,满足其是 $\sigma$ 代数:运算封闭性。

特别地:$\sum\limits_{i = 1}^\infty A_i \in \mathcal{F}, \forall A_i \in \mathcal{F} (i = 1,\cdots)$。
$$
e.g. \ \ \Omega = \{a, b, c, d\} \\
\mathcal{F} = \{\Omega, \varnothing, \{a, b\}, \{c, d\}\}
$$
(这里的无穷是指可数多个)

概率

$$
P : \mathcal{F} \to \mathbb{R}
$$

满足下述公理:

  1. $P(A) \ge 0, \forall A \in \mathcal{F}$
  2. $P(\Omega) = 1$
  3. $P(\sum\limits_{i = 1}^\infty A_i) = \sum\limits_{i = 1}^\infty P(A_i), \forall A_i \in \mathcal{F}, A_i A_j = \varnothing, \forall i \not = j$(互斥的)(加法公理)

:$P$——概率函数。

推出命题

  1. $P(A) \le 1, \forall A \in \mathcal{F}$
  2. $P(\varnothing) = 0$
  3. $P(A^c) = 1 – P(A)$
  4. $P(\sum\limits_{i = 1}^n A_i) = \sum\limits_{i = 1}^n P(A_i), A_i A_j = \varnothing, \forall i \not = j$
  5. $P(A) \le P(B), \forall A \subset B$
  6. $P(A + B) = P(A) + P(B) – P(AB)$

推广(容斥恒等式)
$$
\begin{align*}
P(A_1 + A_2 + \cdots + A_n) = \sum_{i = 1}^n P(A_i) – \sum_{i_1 < i_2} P(A_{i_1} A_{i_2}) \\ + \cdots + (-1)^{r + 1} \sum_{i_1 < i_2 < \cdots < i_r} P(A_{i_1} A_{i_2} \cdots A_{i_r}) \\ + \cdots + (-1)^{n + 1} P(A_1 A_2 \cdots A_n) \end{align*} $$在之后计算概率的过程中,要尽量使用概率的公理化定义,不要使用以前的思考方法。

6、古典概型

$e.g.$ 生日问题。

$e.g.$ 约会相遇。

$e.g.$ (编号分组)$n$ 人分成有编号的 $k$ 组,分别有 $r_1, r_2, \cdots, r_k$ 人,则分法有:
$$
\dbinom{n}{r_1, r_2, \cdots, r_k} = \frac{n!}{r_1! r_2! \cdots r_k!} \text{(多项式系数)} \\
k = 2, r_2 = n – r_1, \dbinom{n}{r_1} = C_n^{r_1} = C_n^{r_2}
$$
$e.g.$ (配对问题)$n$ 个人,每人一顶帽子,参会摘帽,会后随机取帽,无人拿到自己帽子的概率为?

记 $A_i = $ 第 $i$ 个人拿到自己的帽子。
$$
P(A_i) = \frac{1}{n} = \frac{(n – 1)!}{n!}
$$
至少一个人拿到自己的帽子的概率为:
$$
\begin{align*}
P(A_1 + A_2 + \cdots + A_n) = \sum_{i = 1}^n P(A_i) – \sum_{i_1 < i_2} P(A_{i_1} A_{i_2}) \\ + \cdots + (-1)^{r + 1} \sum_{i_1 < i_2 < \cdots < i_r} P(A_{i_1} A_{i_2} \cdots A_{i_r}) \\ + \cdots + (-1)^{n + 1} P(A_1 A_2 \cdots A_n) \end{align*} \\ P(A_{i_1} A_{i_2} \cdots A_{i_r}) = \frac{(n - r)!}{n!} \\ \sum_{i_1 < i_2 < \cdots < i_r} P(A_{i_1} A_{i_2} \cdots A_{i_r}) = \frac{(n - r)!}{n!} \cdot \dbinom{n}{r} = \frac{1}{r!} \\ P(A_1 + A_2 + \cdots + A_n) = 1 - \frac{1}{2!} + \frac{1}{3!} + \cdots + (-1)^{r + 1} \frac{1}{r!} + \cdots + (-1)^{n + 1} \frac{1}{n!} \\ \Rightarrow \text{所求 } P = 1 - [1 - \frac{1}{2!} + \frac{1}{3!} + \cdots + (-1)^{r + 1} \frac{1}{r!} + \cdots + (-1)^{n + 1} \frac{1}{n!}] \\ P \to e^{-1} (n \to \infty) $$ 问题:恰有 $k$ 个人拿到自己的帽子的概率为?

7、条件概率

$e.g.$ 掷骰子 $A = \{2, 3, 5\}, B = \{1, 3, 5\}$。
$$
P(A) = \frac{1}{2} = P(B) \\
P(A | B) = \frac{2}{3} = \frac{P(AB)}{P(B)}
$$
上述操作将样本空间进行了缩小。

定义

$$
P(A | B) \stackrel{\triangle}{=} \frac{P(AB)}{P(B)}
$$

:需要 $P(B) > 0$:
1. 计算:
1. 改变样本空间(如 $e.g.$);
2. 用定义。
2. $P(AB) = P(A | B) P(B) = P(B | A) P(A)$(乘法法则

$e.g.$ $8$ 红 $4$ 白,无放回,等可能取 $2$ 球均为红球的概率为?
$$
\frac{\binom{8}{2}}{\binom{12}{2}} = \frac{8 \times 7}{12 \times 11} \\
P(R_1) = \frac{8}{12}, P(R_2 | R_1) = \frac{7}{11} \\
\Rightarrow P(R_1 R_2) = P(R_1) P(R_2 | R_1) \\
= \frac{8 \times 7}{12 \times 11}
$$

乘法法则推广

$$
P(A_1 A_2 \cdots A_n) \\
= P(A_1) P(A_2 | A_1) P(A_3 | A_1 A_2) \cdots P(A_n | A_1 A_2 \cdots A_{n – 1})
$$

$e.g.$ (配对问题)
$$
\begin{align*}
P(A_{i_1} A_{i_2} \cdots A_{i_r}) \\
= P(A_{i_1}) P(A_{i_2} | A_{i_1}) \cdots P(A_{i_r} | A_{i_1} \cdots A_{i_{r – 1}}) \\
= \frac{1}{n} \cdot \frac{1}{n – 1} \cdot \cdots \cdot \frac{1}{n – (r – 1)} = \frac{(n – r)!}{n!}
\end{align*}
$$

对于定义的思考

$$
P(\cdot | B) : \mathcal{F} \to \mathbb{R} \\
A \to P(A | B)
$$

命题:$P(\cdot | B)$ 为概率函数(给定 $B$)。

8、独立事件

定义

若 $A, B$ 事件满足:
$$
P(AB) = P(A) P(B)
$$
则称 $A, B$ 独立。

:此时 $P(A | B) = P(A)$。(需 $P(B) > 0$)

直观解释

$$
P(A | B) = \frac{P(AB)}{P(B)} \\
P(A) = \frac{P(A)}{P(\Omega)}
$$

两者相等相当于面积比值相等。


1. 若可从实际角度判别独立性,则可应用定义中的公式。
2. 通过定义判断独立性。
3. $A, B$ 独立 $\Rightarrow A, B^c$ 独立(留作练习)。

三事件独立定义

$A, B, C$ 独立:
$$
\left\{
\begin{array}{}
P(ABC) = P(A) P(B) P(C) \\
A, B, C \text{ 两两独立}
\end{array}
\right.
$$

可数多个事件独立定义

$A_1, A_2, \cdots, A_n, \cdots$ 为有限个或可数个事件,若从中任取有限个 $A_{i_1}, \cdots, A_{i_m}$ 都成立:
$$
P(A_{i_1} \cdots A_{i_m}) = P(A_{i_1}) \cdots P(A_{i_m})
$$
则称 $A_1, A_2, \cdots$ 独立。

:两两独立并不能推出独立。(留做练习)

$e.g.$ 彩票每周开奖,中奖率为 $10^{-5}$,十年($520$ 周)未中奖的概率为?

$A_i =$ 第 $i$ 周不中奖。
$$
\Rightarrow P(A_1 \cdots A_{520}) = (1 – 10^{-5})^{520} \\
\approx 0.9948
$$

9、Bayes 公式

全概率公式

$$
\sum_i B_i = \Omega, B_i B_j = \varnothing, \forall i \not = j
$$

称为对 $\Omega$ 的一个分割。($\forall i, P(B_i) > 0$)

:$B_i$ 为有限个或可数个。

$$
\begin{align*}
P(A) = P(A (\sum_i B_i)) \\
= P(\sum_i (A B_i)) = \sum_i P(A B_i) \\
= \sum_i P(B_i) P(A | B_i)
\end{align*}
$$

$P(A) = \sum\limits_i P(B_i) P(A | B_i)$ 称为全概率公式

$e.g.$ 敏感问题调查:
$$
\frac{k}{n} \approx \frac{1}{2} p + \frac{1}{2} q \Rightarrow p \approx 2 \frac{k}{n} – q
$$
$e.g.$ 假阳性悖论:
$$
B = \text{患病}, A = \text{阳性}, P(B) = 10^{-4} \\
P(A | B) = 0.99, P(A | B^c) = 10^{-3} \\
P(B | A) = \frac{P(AB)}{P(A)} = \frac{P(B) P(A | B)}{P(B) P(A | B) + P(B^c) P(A | B^c)} \approx 9 \%
$$

Bayes 公式

$$
P(B_i | A) = \frac{P(B_i) P(A|B_i)}{\sum\limits_j P(B_j) P(A|B_j)}
$$

:$P(B_i)$——先验概率。
$P(B_i | A)$——后验概率。(修正)

 

点赞 0

No Comments

Add your comment