
概率论与数理统计笔记(2)——随机变量
Chapter 2:随机变量
1、(1 维)随机变量
定义
样本空间上的实值函数。
X:Ω→R ω↦X(ω)
注:概括作用,关注问题本质。
事件对变量类似于静态对动态。
分类
- 离散型:至多可数多个取值。
- 连续型。
- 其他(包括混合型)。
概率定义
P(X∈I)X△=P(X−1(I))
注:X−1(I)⊂Ω 表示 I 的原像集。
一般记 PX 为 P。
(累积)分布函数
累积分布函数(Cumulative Distribution Function,简记为 cdf):
F(x)△=P(X≤x),∀x∈R
注:
P(a<X≤b)=F(b)−F(a)。
性质:
1. F(x) 单调增(不一定严格增)。
2. limx→+∞F(x)=1,limx→−∞F(x)=0。
3. 右连续。
注:
上述三条性质是函数成为概率分布函数的充要条件。
问题:
若定义 F(x)△=P(X<x),三条性质如何?
注:
- 样本空间可以很具体;
- 随机要素来自样本点 ω 的“随机”选择;
- 应用中,很多时候随机变量的直观意义出现在样本空间的直观意义之前;
- 一般 g(X,Y) 皆为随机变量;
- 要求 X−1(I)∈F;
- 同分布可对应不同的随机变量;
e.g. 掷三次硬币,正面向上和反面向上次数的两个随机变量同分布,但不存在 ω 使得 X(ω)=Y(ω)。
2、离散分布
分布表:取值对应概率,上面取值下面概率。
概率质量函数(pmf)
f(x)△=P(X=x),∀x∈R
注:f(xi)=Pi≥0,∑if(xi)=1
(∑x∈Rf(x)=∑if(xi)=1)
期望
E(X)△=∑ixif(xi)
方差
Var(X)△=∑i(xi–E(X))2f(xi)=E[(X–E(X))2]=E(X2)–E2(X)
注:
期望存在则 ∑i|xi|f(xi)<∞ 即级数绝对收敛。
注:
1. 期望即均值;
2. E(X) 为分布的特征;
3. E(g(X))=∑ig(xi)f(xi)。
3、常见离散分布
Bernoulli 分布
X={1成功p0失败1–p (p∈(0,1))
记 X∼B(p),则 E(X)=p,Var(X)=p–p2=p(1–p)。
二次分布
X=n 次独立重复试验(同上)成功次数。
P(X=k)=(nk)pk(1–p)n–k (k=0,1,⋯,n)
记 X∼B(n,p),则 E(X)=np,Var(X)=np(1–p)。
Poisson 分布
P(X=k)=λkk!e−λ (k=0,1,2,⋯)
λ>0 为常数。
记 X∼P(λ),则 E(X)=λ=Var(X)(留做练习)。
引入:观察时间 [0,1)(一定时间内),路口交通事故数 X。
li=[i–1n,in),n 充分大,i=1,2,⋯,n。
假设:
- li 内至多发生一次事故;
- 恰发生一次的概率 P=λn(与时长 1n 成正比);
- li 各段独立。
则 X∼B(n,p),其中 p=λn。
P(X=k)=(nk)pk(1–p)n–k=λkk!(1–λn)nn!(n–k)!nk(1–λn)−k→λkk!e−λ(n→∞)
注:此即表明,若 X∼B(n,p),p 很小,n 很大,np 不太大:
则 X近似∼P(λ),λ=np,即有 P(X=k)≈λkk!e−λ。
e.g. 某医院平均每小时出生 λ 名婴儿,接下来 t 小时内出生数的分布?
P(N(t)=k)=(λt)kk!e−λt
注:P(λ) 多用于当 X 表示一定时间或一定空间内出现的小概率事件次数这样的集合。
若试验不独立,但弱相依条件下仍为较好近似。
4、连续分布
定义
若存在 f≥0,使得 ∀ 可测集 I⊂R 都有:
P(X∈I)=∫If(x)dx
则称 X 为连续型随机变量,f 为 X 的概率密度函数(pdf)。
性质
- ∫+∞−∞f(x)dx=1
P(a<x≤b)=F(b)−F(a)=∫baf(x)dx=P(a≤x≤b)=P(a<x<b)=P(a≤x<b)
P(X=x)≡0
P(x–δ<X<x+δ)≈2δf(x)
F(x)=P(X≤x)=∫x−∞f(t)dt
此函数(cdf)连续。
F′(x)=f(x)
当 f 在 x 处连续时成立。pdf 若存在则不唯一。
期望
E(x)△=∫+∞−∞xf(x)dx
E(x) 存在则等价于:
∫+∞−∞|x|f(x)dx<∞
方差
Var(x)△=E[(X–E(X))2]=E(X2)–E2(X)=∫+∞−∞(x–E(x))2f(x)dx
注:
E(g(X))=∫+∞−∞g(x)f(x)dx
5、常见连续分布
均匀分布
f(x)={1b–aa<x<b0其他即为 X∼U(a,b)。期望、方差留做练习。注:X∼U(0,1),通常称 X 为随机数,可用来实现分布模拟。
正态分布
f(x)=1√2πσe−(x–μ)22σ2,x∈R
记为 X∼N(μ,σ2)。
注:
1. μ=E(X),σ2=Var(X)。
2. N(0,1)——标准正态分布。
3. X∼N(μ,σ2),则 Y=X–μσ∼N(0,1)。
经验法则:
σ2σ3σ68%95%99.7%
指数分布
f(x)={λe−λxx>00x≤0⇒F(x)={1–e−λxx>00x≤0
记为 X∼Exp(λ)。
注:
1. E(X)=1λ,Var(X)=1λ2。
2. X 常用于刻画寿命或等待时间。
3. 尾概率:P(X>x)=e−λx,x>0。
e.g. 接下来 t 小时内有婴儿出生的概率。(排队模型)
P(X>t)=P(N(t)=0)=(λt)00!e−λt=e−λtP(X≤t)=1–e−λt
失效率(危险率):
假设 X 为连续型,cdf 为 F(x),F(0)=0,则:
P(x<X<x+dx|X>x)=P(x<X<x+dx)P(X>x)≈F′(x)dx1–F(x)=F′(x)1–F(x)dx
“年龄”为 x 的年龄不能继续使用的条件概率密度为:
F′(x)1–F(x)=λ(x)
两边积分可得:
F(x)=1–exp(−∫x0λ(t)dt),x>0
“无老化”假设:
若假设 λ(x)≡λ,则 F(x)=1–e−λx,x>0 即为指数分布。
⇒P(X>t+s|X>s)=P(X>t+s)P(X>s)=e−λt=P(X>t),∀s,t>0
这种性质称为无记忆性。
注:“无老化”假设应用局限。
改进:
假设:
F′(x)1–F(x)=αxα–1βα,x>0,α>0,β>0⇒F(x)={1–exp(–(xβ)α)x>00x≤0
称为 Weibull 分布。
6、随机变量的函数
Y=g(X)
X 离散 ⇒Y 离散,X 连续 ⇏Y 连续。
e.g.
X∼Exp(λ),Y={0X≤t01X>t0,t0>0固定。⇒P(Y=0)=P(X≤t0)=1–eλt0,P(Y=1)=e−λt0
e.g. g(X)=X2=Y
X 离散,则 P(Y=b)=∑a2=bP(X=a)。
X 连续,假设其 pdf 为 f(x):
∀y>0,P(Y≤y)=P(X2≤y)=P(−√y≤X≤√y)=∫√y−√yf(x)dx=∫y0l(t)dt⇒l(y)={12√y(f(√y)+f(−√y))y>00y≤0
其中 l(y) 为 Y 的 pdf。
注:直接求分布:
1. 离散:P(g(X)=y)。
2. 连续:P(g(X)≤y)。
e.g. 假设 X∈N(0,1),Y=X2 的 pdf 为:
l(y)=1√2π1√ye−y2,y>0
称为自由度为 1 的 χ2− 分布。
e.g. 假设 X 的 cdf 为 F(x),F(x) 连续,则 Y=F(X)∼U(0,1)。(概率积分变换)
证明:∀y∈(0,1) 时:
P(Y≤y)=P(F(X)≤y)=P(X≤F−1(y)) (需F严格增)=F(F−1)(y)=y
一般地,定义 F−1(y)△=infF(x)≤yx。
注:Y∼U(0,1),F−1(Y) 的 cdf 为 F(x)。
——构造相应的随机样本,满足给定的分布 F(x)。
No Comments