Loading [MathJax]/jax/element/mml/optable/MathOperators.js

概率论与数理统计笔记(3)——联合分布

概率论与数理统计笔记(3)——联合分布

Chapter 3:联合分布

1、随机向量

定义

(X1,,Xn)

称为(n 维)随机向量,任意 Xi 是随机变量。

(联合)累积分布函数(cdf)

F(x1,,xn)=P(X1x1,,Xnxn)(x1,,xn)Rn

n=2 时为二元分布,常用 (X,Y)F(x,y) 表示。

2、离散分布

定义

任意 Xi 都是离散型,则称 (X1,,Xn) 为离散型。

概率质量函数(pmf)

f(x1,,xn)=P(X1=x1,,Xn=xn)(x1,,xn)Rnf0,f(x1,,xn)1

e.g. 多项分布。

3、连续分布

定义

若存在 f(x1,,xn)0 使得 IRn 可测集都有:
P((X1,,Xn)I)=If(x1,,xn)dx1dxn
则称 (X1,,Xn) 为连续型随机向量,fX1,,Xn 的概率密度函数(pdf)。


1. pdf 积分恒为 1
Rnf1
2. cdf 为 pdf 积分:
F(a,b)=baf(x,y)dxdy

实例

e.g. 均匀分布(矩形)。
f(x,y)={1(ba)(dc)a<x<b,c<y<d0otherwisee.g. 二元正态分布。 (X,Y)N(μ1,μ2,σ21,σ22,ρ)f(x,y)=12πσ1σ211ρ2exp{12(1ρ2)[(xμ1σ1)22ρxμ1σ1yμ2σ2+(yμ2σ2)2]} 大括号内为二次型。 {...}=12XTWXX=(xμ1σ1yμ2σ2),W=11ρ2(1ρρ1)=ATAA=11ρ2(1ρ0±1ρ2)11ρ2(1ρ0±1ρ2)

4、边际分布

定义

Fi(x)=P(Xix)=P(Xix,<Xj<+(ij))称其为边际 cdf。当 n=2 时,对于 (X,Y)FX(x)=P(Xx)=limy+F(x,y)FY(y)=P(YY)=limx+F(x,y) e.g. P(X>a,Y>b)=1FX(a)FY(b)+F(a,b)

离散型(n=2

P(X=x)=yP(X=x,Y=y)

e.g. (X,Y)——两次掷骰子点数。

P(X=1)=16,P(X2)=13

连续型(n=2

FX(x)=P(Xx)=x(f(x,y)dy)dx

边际 pdf:
fX(x)=f(x,y)dy
e.g. (X,Y)N(μ1,μ2,σ21,σ22,ρ)
fX(x)=f(x,y)dy=12πσ1e(xμ1)22σ21,xRXN(μ1,σ21)
同理可得:YN(μ2,σ22)

:联合分布确定边际分布,反之则不对!

5、条件分布

n=2 为例。

离散型

P(X=ai,Y=bj)=Pij0  (i,j=1,2,)P(X=ai|Y=bj)=P(X=ai,Y=bj)P(Y=bj)=PijlPlj

需要 P(Y=bj)>0


1. iP(X=ai|Y=bj)1
2. 高维情况类似。

连续型

(X,Y) 的 pdf 为 f(x,y)
P(Xx|yYy+dy)=P(Xx,yYy+dy)P(yYy+dy)=xy+dyyf(t,s)dsdty+dyyfY(s)dsfX(x|yYy+dy)=y+dyyf(x,s)dsy+dyyfY(s)dsf(x,y)fY(y)(dy0)
条件密度函数
fX(x|y)=f(x,y)fY(y)
需要 fY(y)>0

fY(y|x) 类似定义。

f(x,y)=fX(x|y)fY(y)=fY(y|x)fX(x)
fX(x)=f(x,y)dy=fX(x|y)fY(y)dy

——全概率公式。
fX(x|y)=f(x,y)f(x,y)dx
Bayes 公式。
FX(a|y)=P(Xa|Y=y)=afX(x|y)dx(P(Y=y)0)
多维情况类似。

e.g. (X,Y)N(μ1,μ2,σ21,σ22,ρ)
fY(y|x)=f(x,y)fX(x)=12πσ211ρ2exp((y(μ2+ρσ2σ1(xμ1)))22(1ρ2)σ22)
给定 X=x 条件下 Y 的分布为 N(μ2+ρσ2σ1(xμ1),(1ρ2)σ22)

中心为 μ2+ρσ2σ1(xμ1)

6、独立性

定义

(X,Y) 的 cdf 为 F(x,y),若 F(x,y)=FX(x)FY(y),x,yR,则称 X,Y 相互独立。

X,Y 独立 f(x,y)=fX(x)fY(y),x,yR

连续型时为 pdf,离散型时为 pmf。

定义(高维推广)

(X1,,Xn) 的 cdf 为 F(x1,,xn),若 F(x1,,xn)=F1(x1)Fn(xn),x1,,xnR,则称 X1,,Xn 相互独立。

这里的 Fi(Xi) 为边际 cdf。

X1,,Xn 独立 f(x1,,xn)=f1(x1)fn(xn),x1,,xnR

连续型时为 pdf,离散型时为 pmf。

定理

  1. f(x1,,xn)=g1(x1)gn(xn),x1,,xnR,则连续型随机变量 X1,,Xn 独立,且 fi(xi)gi(xi) 只差常数因子。
  2. X1,,Xn 独立,则 Y1=g1(X1,,Xm),Y2=g2(Xm+1,,Xn) 相互独立。

7、多个随机变量的函数

Y=g(X1,,Xn)

直接法

e.g. XiB(ni,p)(i=1,2) 相互独立,Y=X1+X2
P(Y=k)=kk1=0P(X1=k1,X2=kk1)   (k=0,1,,n1+n2)=kk1=0P(X1=k1)P(X2=kk1)=kk1=0(n1k1)pk1(1p)n1k1(n2kk1)pkk1(1p)n2(kk1)=[kk1=0(n1k1)(n2kk1)]pk(1p)n1+n2k=(n1+n2k)pk(1p)n1+n2kYB(n1+n2,p)

:对于 k1 无法取遍 0k 时,也有相同结果,此处略去讨论。

e.g. (X1,X2) 的 pdf 为 f(x1,x2),X1>0,Y=X2X1
y,P(Yy)=P(X2X1y)=P(X2yX1)=

:若 X_1, X_2 独立,则:
l(y) = \int_0^\infty x_1 f_1(x_1) f_2(x_1 y) \mathrm{d} x_1

密度函数变换法

(X_1, X_2) 的 pdf 为 f(x_1, x_2)
\begin{cases} Y_1 = g_1(X_1, X_2) \\ Y_2 = g_2(X_1, X_2) \end{cases} \quad \quad \begin{cases} X_1 = h_1(Y_1, Y_2) \\ X_2 = h_2(Y_1, Y_2) \end{cases}
左侧映射可逆可微。
P \left ( (Y_1, Y_2) \in A \right ) \\ = P \left ( (X_1, X_2) \in B \right ) \\ = \int_B f(x_1, x_2) \, \mathrm{d} x_1 \mathrm{d} x_2 \\ = \int_A f(h_1(y_1, y_2), h_2(y_1, y_2)) |J| \, \mathrm{d} y_1 \mathrm{d} y_2 \\ \Rightarrow (Y_1, Y_2) \text{ 的 } pdf \text{ 为 } f(h_1(y_1, y_2), h_2(y_1, y_2)) |J|
其中 J 为雅克比行列式:
J = \begin{vmatrix} \dfrac{\partial h_1}{\partial y_1} & \dfrac{\partial h_1}{\partial y_2} \\ \dfrac{\partial h_2}{\partial y_1} & \dfrac{\partial h_2}{\partial y_2} \end{vmatrix}
e.g. X_1, X_2 的 pdf 为 f(x_1, x_2)Y = X_1 + X_2

Z = X_1 则:
\begin{cases} X_1 = Z \\ X_2 = Y – Z \end{cases}, J = \begin{vmatrix} 0 & 1 \\ 1 & -1 \end{vmatrix}
\Rightarrow Y, Z 的联合密度为:
l(y, z) = f(z, y – z) |J| = f(z, y – z)
\Rightarrow Y 的 pdf 为:
l_Y(y) = \int_{-\infty}^\infty f(z, y – z) \, \mathrm{d} z = \int_{-\infty}^\infty f(y – z, z) \, \mathrm{d} z


1. 若 X_1, X_2 独立,则:
l_Y(y) = \int_{-\infty}^\infty f_1(z) f_2(y – z) \, \mathrm{d} z
2. (X_1, X_2) 二元正态分布 \Rightarrow X_1 + X_2 \sim N(\mu_1 + \mu_2, \sigma_1^2 + \sigma_2^2 + 2 \rho \sigma_1 \sigma_2)

 

点赞 0

No Comments

Add your comment

你驻足于春色中,于那独一无二的春色之中。