
概率论与数理统计笔记(6)——参数估计(续)
Chapter 5:参数估计(续)
6、大样本性质
也就是研究:
ˆθ=ˆθ(X1,⋯,Xn)
在 n→∞ 时的性质。
渐近无偏
如果参数估计满足:
limn→∞(E(ˆθ)–θ)=0
则称为渐近无偏。
相合性(一致性)
若 ∀ε>0,有:
limn→∞P(|ˆθ–θ|≥ε)=0
则称 ˆθ 为 θ 的相合估计(i.e. ˆθP→θ)。
注:弱大数定律 ⇒¯X 是 μ 的一个相合估计。
相合性是良好点估计的自然要求。
e.g.
m2=1nn∑i=1(Xi–¯X)2=1nn∑i=1(Xi–μ)2–(¯X–μ)2P→σ2–0=σ2
注:极大似然估计在一定条件下(平滑性条件)也有相合性。
中心极限定理 →n∑i=1Xi 或 ¯X 渐进正态。
事实上,更多统计量适用(统计量的分布不易求)。
渐进正态性
若存在 σn>0 满足:
- limn→∞σn=0;
- limn→∞(ˆθ–θσn≤x)=Φ(x),∀x∈R。
则称 ˆθ 为 θ 的相合渐近正态估计。
注:n>>1 时,可用 N(θ,σ2n) 来近似 ˆθ 的分布。
e.g. ¯X 为 μ 的相合渐近正态分布(中心极限定理)。
有时 σ2n=Var(ˆθ)。
极大似然估计在一定条件下为渐近正态的。
7、统计决策与损失函数
损失函数与风险
设损失函数定义为:
L(θ,ˆθ)
则 ˆθ 的风险定义为:
R(θ,ˆθ)=∫L(θ,ˆθ)f(x1,⋯,xn;θ)dx1⋯dxn=Eθ(L(θ,ˆθ))
e.g.
L(θ,ˆθ)=(θ–ˆθ)2⇒R(θ,ˆθ)=E[(ˆθ–θ)2]
Bayes 风险
∫R(θ,ˆθ)fΘ(θ)dθ=∫L(θ,ˆθ)f(x1,⋯,xn|θ)dx1⋯dxndθ
注:均方误差意义下最优预测为:
E(Θ|X1,⋯,Xn)
即后验均值。
8、区间估计
定义
给定 α∈(0,1),对于 θ 的任意可能性有:
Pθ(ˆθ1<θ<ˆθ2)≥1−α
注:
- 置信(水平、系数)的含义是针对方法的。
- α 通常取 0.05,0.01,0.1。
- 可靠度优先,即先保证 P(ˆθ1<θ<ˆθ2)≥1−α,之后再尽量提升精度(常用 E(ˆθ2−ˆθ1) 来刻画)。
实例
e.g. X∼N(μ,σ2),σ2 已知,μ 未知。
P(¯X–c1<μ<¯X−c2)=P(−c2<¯X−μ<c1)
- 有时也记为:
¯X±zα2σ√n 取 α=0.05,则 zα2≈1.96≈2。
- 用 ¯X 估计 μ,则 (1–α) 置信误差 (¯X–μ) 不会超过 zα2σ√n(σ√n——标准误)。
- 给定 ε>0,则 n≈(zα2σε)2 时,(1–α) 置信误差 ≤ε。
e.g. X∼N(μ,σ2),μ,σ2 未知,估计 μ。
¯X–μS√n∼t(n–1)
这是考虑到:
¯X–μσ√n∼N(0,1)(n–1)S2σ2∼χ2(n–1)⇒¯X–μσ√n√(n–1)S2σ2/(n–1)∼t(n–1)
因此所求即为:
(¯X–tα2(n–1)S√n,¯X+tα2(n–1)S√n)
枢轴变量法
- 找出 θ 的相关统计量 ˆθ(X1,⋯,Xn)(通常为 θ 的良好点估计)。
- 找出函数 H(ˆθ,θ) (枢轴变量)的分布(要与未知参数无关)。
- 求出 (ˆθ1,ˆθ2)。
e.g. X∼N(μ,σ2),μ,σ2 未知,估计 σ2。
(n–1)S2σ2∼χ2(n–1)
所求为:
((n–1)S2χ2α2(n–1),(n–1)S2χ21–α2(n–1))
注:
- μ 为位置参数,σ 为尺度参数。
- 以上皆为单样本估计(只有一个总体)。
e.g. X∼N(μ1,σ2),Y∼N(μ2,σ2) 独立,μ1,μ2,σ2 未知,X1,⋯,Xn;Y1,⋯,Ym 为样本,估计 μ1–μ2。
(¯X–¯Y)–(μ1–μ2)∼N(0,σ2n+σ2m)(¯X–¯Y)–(μ1–μ2)σ√1n+1m∼N(0,1)
定义:
S2:=n–1n+m–2S21+m–1n+m–2S22=1m+n–2(n∑i=1(Xi–¯X)2+m∑j=1(Yi–¯Y)2)
而:
(n–1)S21σ2+(m–1)S22σ2∼χ2(n+m–2)
因此:
(¯X–¯Y)–(μ1–μ2)S√1n+1m∼t(n+m–2)
因此所求即为:
μ1–μ2=(¯X–¯Y)±tα2(n+m–2)S√1n+1m
渐进置信区间(大样本方法)
e.g.(选举问题)P——真实的支持度,n=1200,6841200=0.57 为观测比例,Xi∼B(P),i=1,2⋯,n,Pn:=¯X。
则:
E(Pn)=PVar(Pn)=P(1–P)n
因此:
Pn–P√P(1–P)n近似∼N(0,1)
(根据中心极限定理)
取 α=0.05:
- 用 S2 近似 P(1–P)=Var(Xi)。(S2≈0.2475)
⇒(0,542,0.598)。
用 m2 近似 P(1–P)=Var(Xi) ⇔ 用 Pn(1–Pn) 近似 P(1–P)。
⇒(0.542,0.598)。
用 P(1–P) 的上界 14 近似 P(1–P)。
⇒(0.542,0.599)。
注:置信 ≈1–α,近似程度取决于 n 及总体分布。
e.g.(双样本)X∼N(μ1,σ21),Y∼N(μ2,σ22) 独立,μ1,μ2,σ21,σ22 未知,估计 μ1–μ2,X1,⋯,Xn;Y1,⋯,Ym 为样本。
(¯X–¯Y)–(μ1–μ2)√σ21n+σ22m∼N(0,1)(¯X–¯Y)–(μ1–μ2)√S21n+S22m近似∼N(0,1)
之后过程略。
注:可考虑单侧置信区间:e.g. P(θ<ˆθ2)≥1−α 或 P(θ>ˆθ1)≥1–α 称为单侧区间估计。
Bayes 区间估计
fΘ(θ|x) 为后验分布,则要求即为:
P(a<Θ<b|x)≥1−α
fΘ(θ1|x)≥fΘ(θ2|x),∀θ1∈(a,b),θ2∉(a,b)
同置信下长度最短。
e.g. X∼N(μ,σ2),σ2 已知。
取 f(μ)∝1,则 μ 的后验分布:
N(¯X,σ2n)⇒μ–¯Xσ√n∼N(0,1)⇒(¯X–zα2σ√n,¯X+zα2σ√n)
注:与经典方法结果相同,反映了无先验信息可用,只能靠样本。
9、充分统计量
定义
若样本 (X1,⋯,Xn) 在已知统计量 T(X1,⋯,Xn) 取值时的条件分布与 θ 无关,则称 T 为 θ 的充分统计量。
实例
e.g. X∼N(μ,σ2),σ2 已知,X1,⋯,Xn iid,样本分布:
f(x1,⋯,xn;μ)=n∏i=1(1√2πσe−(Xi–μ)22σ2)=(1√2πσ)nexp(−12σ2n∑i=1(Xi–¯X)2)exp(−(¯X–μ)22σ2n)
而 ¯X∼N(μ,σ2n),所以:
f(x1,⋯,xn;μ)f(¯X;μ)=f(x1,⋯,xn|¯X;μ)=Cnexp(−12σ2n∑i=1(Xi–¯X)2)
与 μ 无关 ⇒ ¯X 为 μ 的充分统计量。
定理(因子分解)
T(X1,⋯,Xn) 为 θ 的充分统计量 ⇔∃ 函数 g(t,θ) 和 h(x1,⋯,xn) s.t.:
f(X1,⋯,Xn;θ)=g(T(X1,⋯,Xn),θ)h(X1,⋯,Xn)
证明略。
充分性原理
若 T 充分,两组观测 (x(1)1,⋯,x(1)n) 和 (x(2)1,⋯,x(2)n) 具有相同的统计量值,则关于 θ 的基于样本和 T 的推断完全相同。
注:充分统计量不唯一。
No Comments