概率论与数理统计笔记（3）——联合分布

概率论与数理统计笔记（3）——联合分布

Chapter 3：联合分布

1、随机向量

定义

$$(X_1, \cdots, X_n)$$

称为（$n$ 维）随机向量，任意 $X_i$ 是随机变量。

（联合）累积分布函数（cdf）

$$F(x_1, \cdots, x_n) = P(X_1 \le x_1, \cdots, X_n \le x_n) \\ \forall (x_1, \cdots, x_n) \in \mathbb{R}^n$$

注：$n = 2$ 时为二元分布，常用 $(X, Y)$ 和 $F(x, y)$ 表示。

2、离散分布

定义

任意 $X_i$ 都是离散型，则称 $(X_1, \cdots, X_n)$ 为离散型。

概率质量函数（pmf）

$$f(x_1, \cdots, x_n) \stackrel{\triangle}{=} P(X_1 = x_1, \cdots, X_n = x_n) \\ \forall (x_1, \cdots, x_n) \in \mathbb{R}^n \\ f \ge 0, \sum f(x_1, \cdots, x_n) \equiv 1$$

$e.g.$ 多项分布。

3、连续分布

定义

若存在 $f(x_1, \cdots, x_n) \ge 0$ 使得 $\forall I \subseteq \mathbb{R}^n$ 可测集都有：

$$P\left ((X_1, \cdots, X_n) \in I \right ) = \int_I f(x_1, \cdots, x_n) \, \mathrm{d} x_1 \cdots \mathrm{d} x_n$$
则称 $(X_1, \cdots, X_n)$ 为连续型随机向量，$f$ 为 $X_1, \cdots, X_n$ 的概率密度函数（pdf）。

注：
1. pdf 积分恒为 $1$：

$$\int_{\mathbb{R}^n} f \equiv 1$$
2. cdf 为 pdf 积分：
$$F(a, b) = \int_{-\infty}^b \int_{-\infty}^a f(x, y) \, \mathrm{d} x \mathrm{d} y$$

实例

$e.g.$ 均匀分布（矩形）。

$$f(x, y) = \begin{cases} \dfrac{1}{(b – a)(d – c)} & a < x < b, c < y < d \\ 0 & otherwise \end{cases}$$ $e.g.$ 二元正态分布。 $$(X, Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho) \\ f(x, y) = \frac{1}{2 \pi \sigma_1 \sigma_2} \frac{1}{\sqrt{1 - \rho^2}} \exp \left \{ -\frac{1}{2(1 - \rho^2)} \left[ \left (\frac{x - \mu_1}{\sigma_1} \right )^2 - 2 \rho \frac{x - \mu_1}{\sigma_1} \frac{y - \mu_2}{\sigma_2} + \left ( \frac{y - \mu_2}{\sigma_2} \right )^2 \right ] \right \}$$ 大括号内为二次型。 $$\{...\} = -\frac{1}{2} \vec{X}^T W \vec{X} \\ \vec{X} = \begin{pmatrix} \dfrac{x - \mu_1}{\sigma_1} \\ \dfrac{y - \mu_2}{\sigma_2} \end{pmatrix}, W = \frac{1}{1 - \rho^2} \begin{pmatrix} 1 & -\rho \\ -\rho & 1 \end{pmatrix} = A^T A \\ A = \frac{1}{\sqrt{1 - \rho^2}} \begin{pmatrix} 1 & -\rho \\ 0 & \pm \sqrt{1 - \rho^2} \end{pmatrix} 或 \frac{1}{\sqrt{1 - \rho^2}} \begin{pmatrix} -1 & \rho \\ 0 & \pm \sqrt{1 - \rho^2} \end{pmatrix}$$

4、边际分布

定义

$$F_i(x) \stackrel{\triangle}{=} P(X_i \le x) = P(X_i \le x, -\infty < X_j < +\infty(\forall i \not = j))$$ 称其为边际 cdf。当 $n = 2$ 时，对于 $(X, Y)$： $$F_X(x) = P(X \le x) = \lim_{y \to +\infty} F(x, y) \\ F_Y(y) = P(Y \le Y) = \lim_{x \to +\infty} F(x, y)$$ $e.g.$ $$P(X > a, Y > b) = 1 – F_X(a) – F_Y(b) + F(a, b)$$

离散型（$n = 2$）

$$P(X = x) = \sum_y P(X = x, Y = y)$$

$e.g.$ $(X, Y)$——两次掷骰子点数。

$P(X = 1) = \dfrac{1}{6}, P(X \le 2) = \dfrac{1}{3}$

连续型（$n = 2$）

$$F_X(x) \stackrel{\triangle}{=} P(X \le x) = \int_{-\infty}^x \left (\int_{-\infty}^\infty f(x, y) \, \mathrm{d} y \right ) \mathrm{d} x \\ $$

边际 pdf：

$$f_X(x) = \int_{-\infty}^\infty f(x, y) \, \mathrm{d} y$$
$e.g.$ $(X, Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$
$$f_X(x) = \int_{-\infty}^\infty f(x, y) \, \mathrm{d} y = \frac{1}{\sqrt{2 \pi} \sigma_1} e^{- \dfrac{(x – \mu_1)^2}{2\sigma_1^2}}, \forall x \in \mathbb{R} \\ \Rightarrow X \sim N(\mu_1, \sigma_1^2)$$
同理可得：$Y \sim N(\mu_2, \sigma_2^2)$。

注：联合分布确定边际分布，反之则不对！

5、条件分布

以 $n = 2$ 为例。

离散型

$$P(X = a_i, Y = b_j) = P_{ij} \ge 0 \ \ (i, j = 1, 2, \cdots) \\ P(X = a_i | Y = b_j) = \frac{P(X = a_i, Y = b_j)}{P(Y = b_j)} = \frac{P_{ij}}{\sum_l P_{lj}}$$

需要 $P(Y = b_j) > 0$。

注：
1. $\sum\limits_i P(X = a_i | Y = b_j) \equiv 1$。
2. 高维情况类似。

连续型

$(X, Y)$ 的 pdf 为 $f(x, y)$。

$$P(X \le x | y \le Y \le y + \mathrm{d} y) = \frac{P(X \le x, y \le Y \le y + \mathrm{d} y)}{P(y \le Y \le y + \mathrm{d} y)} = \frac{\displaystyle \int_{-\infty}^x \int_y^{y + \mathrm{d} y} f(t, s) \, \mathrm{d} s \mathrm{d} t}{\displaystyle \int_y^{y + \mathrm{d} y} f_Y(s) \, \mathrm{d} s} \\ f_X(x | y \le Y \le y + \mathrm{d} y) = \frac{\int_y^{y + \mathrm{d} y} f(x, s) \, \mathrm{d} s}{\int_y^{y + \mathrm{d} y} f_Y(s) \, \mathrm{d} s} \to \frac{f(x, y)}{f_Y(y)} (\mathrm{d} y \to 0)$$
条件密度函数：
$$f_X(x | y) \stackrel{\triangle}{=} \frac{f(x, y)}{f_Y(y)}$$
需要 $f_Y(y) > 0$。

$f_Y(y | x)$ 类似定义。

注：$f(x, y) = f_X(x | y) f_Y(y) = f_Y(y |x) f_X(x)$

$$\Rightarrow f_X(x) = \int_{-\infty}^\infty f(x, y) \, \mathrm{d} y = \int_{-\infty}^\infty f_X(x | y) f_Y(y) \, \mathrm{d} y$$

——全概率公式。

$$f_X(x | y) = \frac{f(x, y)}{\displaystyle \int_{-\infty}^\infty f(x, y) \, \mathrm{d} x}$$
$\Rightarrow$ Bayes 公式。
$$F_X(a | y) = P(X \le a | Y = y) = \int_{-\infty}^a f_X(x | y) \, \mathrm{d} x \\ (P(Y = y) \equiv 0)$$
多维情况类似。

$e.g.$ $(X, Y) \sim N(\mu_1, \mu_2, \sigma_1^2, \sigma_2^2, \rho)$

$$f_Y(y | x) = \frac{f(x, y)}{f_X(x)} = \frac{1}{\sqrt{2 \pi} \sigma_2} \frac{1}{\sqrt{1 – \rho^2}} \exp \left( -\frac{\left (y – \left (\mu_2 + \rho \dfrac{\sigma_2}{\sigma_1} (x – \mu_1) \right ) \right )^2}{2(1 – \rho^2)\sigma_2^2} \right )$$
$\Rightarrow$ 给定 $X = x$ 条件下 $Y$ 的分布为 $N \left (\mu_2 + \rho \dfrac{\sigma_2}{\sigma_1}(x – \mu_1), (1 – \rho^2) \sigma_2^2 \right )$。

中心为 $\mu_2 + \rho \dfrac{\sigma_2}{\sigma_1}(x – \mu_1)$。

6、独立性

定义

$(X, Y)$ 的 cdf 为 $F(x, y)$，若 $F(x, y) = F_X(x) F_Y(y), \forall x, y \in \mathbb{R}$，则称 $X, Y$ 相互独立。

注：$X, Y$ 独立 $\Leftrightarrow f(x, y) = f_X(x) f_Y(y) , \forall x, y \in \mathbb{R}$。

连续型时为 pdf，离散型时为 pmf。

定义（高维推广）

设 $(X_1, \cdots, X_n)$ 的 cdf 为 $F(x_1, \cdots, x_n)$，若 $F(x_1, \cdots, x_n) = F_1(x_1) \cdot \cdots \cdot F_n(x_n), \forall x_1, \cdots, x_n \in \mathbb{R}$，则称 $X_1, \cdots, X_n$ 相互独立。

这里的 $F_i(X_i)$ 为边际 cdf。

注：$X_1, \cdots, X_n$ 独立 $\Leftrightarrow f(x_1, \cdots, x_n) = f_1(x_1) \cdot \cdots \cdot f_n(x_n), \forall x_1, \cdots, x_n \in \mathbb{R}$。

连续型时为 pdf，离散型时为 pmf。

定理

1. 若 $f(x_1, \cdots, x_n) = g_1(x_1) \cdot \cdots \cdot g_n(x_n), \forall x_1, \cdots, x_n \in \mathbb{R}$，则连续型随机变量 $X_1, \cdots, X_n$ 独立，且 $f_i(x_i)$ 与 $g_i(x_i)$ 只差常数因子。
2. 若 $X_1, \cdots, X_n$ 独立，则 $Y_1 = g_1(X_1, \cdots, X_m), Y_2 = g_2(X_{m + 1}, \cdots, X_n)$ 相互独立。

7、多个随机变量的函数

$$Y = g(X_1, \cdots, X_n)$$

直接法

$e.g.$ $X_i \sim B(n_i, p)(i = 1, 2)$ 相互独立，$Y = X_1 + X_2$：

$$P(Y = k) = \sum_{k_1 = 0}^k P(X_1 = k_1, X_2 = k – k_1) \ \ \ (k = 0, 1, \cdots, n_1 + n_2) \\ = \sum_{k_1 = 0}^k P(X_1 = k_1) P(X_2 = k – k_1) \\ = \sum_{k_1 = 0}^k \binom{n_1}{k_1} p^{k_1} (1 – p)^{n_1 – k_1} \binom{n_2}{k – k_1} p^{k – k_1} (1 – p)^{n_2 – (k – k_1)} \\ = \left [ \sum_{k_1 = 0}^k \binom{n_1}{k_1} \binom{n_2}{k – k_1} \right ] p^k (1 – p)^{n_1 + n_2 – k} \\ = \binom{n_1 + n_2}{k} p^k (1 – p)^{n_1 + n_2 – k} \\ \Rightarrow Y \sim B(n_1 + n_2, p)$$

注：对于 $k_1$ 无法取遍 $0 \sim k$ 时，也有相同结果，此处略去讨论。

$e.g.$ $(X_1, X_2)$ 的 pdf 为 $f(x_1, x_2),X_1 > 0, Y = \dfrac{X_2}{X_1}$：

$$\forall y, P(Y \le y) = P\left ( \frac{X_2}{X_1} \le y \right ) = P(X_2 \le y X_1) \\ = \iint_{B} f(x_1, x_2) \, \mathrm{d} x_1 \mathrm{d} x_2 \\ = \int_0^\infty \int_{-\infty}^{yx_1} f(x_1, x_2) \, \mathrm{d} x_2 \mathrm{d} x_1 \\ = \int_{-\infty}^y \int_0^\infty x_1 f(x_1, x_1 t) \, \mathrm{d} x_1 \mathrm{d} t \\ \Rightarrow Y \text{ 的 } pdf \text{ 为 } l(y) := \int_0^\infty x_1 f(x_1, x_1 y) \, \mathrm{d} x_1$$

注：若 $X_1, X_2$ 独立，则：

$$l(y) = \int_0^\infty x_1 f_1(x_1) f_2(x_1 y) \mathrm{d} x_1$$

密度函数变换法

$(X_1, X_2)$ 的 pdf 为 $f(x_1, x_2)$。

$$\begin{cases} Y_1 = g_1(X_1, X_2) \\ Y_2 = g_2(X_1, X_2) \end{cases} \quad \quad \begin{cases} X_1 = h_1(Y_1, Y_2) \\ X_2 = h_2(Y_1, Y_2) \end{cases}$$
左侧映射可逆可微。
$$P \left ( (Y_1, Y_2) \in A \right ) \\ = P \left ( (X_1, X_2) \in B \right ) \\ = \int_B f(x_1, x_2) \, \mathrm{d} x_1 \mathrm{d} x_2 \\ = \int_A f(h_1(y_1, y_2), h_2(y_1, y_2)) |J| \, \mathrm{d} y_1 \mathrm{d} y_2 \\ \Rightarrow (Y_1, Y_2) \text{ 的 } pdf \text{ 为 } f(h_1(y_1, y_2), h_2(y_1, y_2)) |J|$$
其中 $J$ 为雅克比行列式：
$$J = \begin{vmatrix} \dfrac{\partial h_1}{\partial y_1} & \dfrac{\partial h_1}{\partial y_2} \\ \dfrac{\partial h_2}{\partial y_1} & \dfrac{\partial h_2}{\partial y_2} \end{vmatrix}$$
$e.g.$ $X_1, X_2$ 的 pdf 为 $f(x_1, x_2)$，$Y = X_1 + X_2$。

令 $Z = X_1$ 则：

$$\begin{cases} X_1 = Z \\ X_2 = Y – Z \end{cases}, J = \begin{vmatrix} 0 & 1 \\ 1 & -1 \end{vmatrix}$$
$\Rightarrow Y, Z$ 的联合密度为：
$$l(y, z) = f(z, y – z) |J| = f(z, y – z)$$
$\Rightarrow Y$ 的 pdf 为：
$$l_Y(y) = \int_{-\infty}^\infty f(z, y – z) \, \mathrm{d} z = \int_{-\infty}^\infty f(y – z, z) \, \mathrm{d} z$$

注：
1. 若 $X_1, X_2$ 独立，则：

$$l_Y(y) = \int_{-\infty}^\infty f_1(z) f_2(y – z) \, \mathrm{d} z$$
2. $(X_1, X_2)$ 二元正态分布 $\Rightarrow$ $X_1 + X_2 \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2 + 2 \rho \sigma_1 \sigma_2)$。

 概统 笔记