Loading [MathJax]/jax/output/HTML-CSS/jax.js

概率论与数理统计笔记(6)——参数估计(续)

概率论与数理统计笔记(6)——参数估计(续)

Chapter 5:参数估计(续)

6、大样本性质

也就是研究:
ˆθ=ˆθ(X1,,Xn)


n 时的性质。

渐近无偏

如果参数估计满足:
limn(E(ˆθ)θ)=0


则称为渐近无偏。

相合性(一致性)

ε>0,有:
limnP(|ˆθθ|ε)=0


则称 ˆθθ 的相合估计(i.e. ˆθPθ)。

:弱大数定律 ¯Xμ 的一个相合估计。

相合性是良好点估计的自然要求。

e.g.
m2=1nni=1(Xi¯X)2=1nni=1(Xiμ)2(¯Xμ)2Pσ20=σ2

:极大似然估计在一定条件下(平滑性条件)也有相合性。

中心极限定理 ni=1Xi¯X 渐进正态。

事实上,更多统计量适用(统计量的分布不易求)。

渐进正态性

若存在 σn>0 满足:

  1. limnσn=0
  2. limn(ˆθθσnx)=Φ(x),xR

则称 ˆθθ 的相合渐近正态估计。

n>>1 时,可用 N(θ,σ2n) 来近似 ˆθ 的分布。

e.g. ¯Xμ 的相合渐近正态分布(中心极限定理)。

有时 σ2n=Var(ˆθ)

极大似然估计在一定条件下为渐近正态的。

7、统计决策与损失函数

损失函数与风险

设损失函数定义为:
L(θ,ˆθ)


ˆθ 的风险定义为:
R(θ,ˆθ)=L(θ,ˆθ)f(x1,,xn;θ)dx1dxn=Eθ(L(θ,ˆθ))

e.g.
L(θ,ˆθ)=(θˆθ)2R(θ,ˆθ)=E[(ˆθθ)2]

Bayes 风险

R(θ,ˆθ)fΘ(θ)dθ=L(θ,ˆθ)f(x1,,xn|θ)dx1dxndθ

:均方误差意义下最优预测为:
E(Θ|X1,,Xn)


即后验均值。

8、区间估计

定义

给定 α(0,1),对于 θ 的任意可能性有:
Pθ(ˆθ1<θ<ˆθ2)1α

则称 (ˆθ1,ˆθ2)θ(1α) 置信的区间估计,ˆθi 分别称为置信下限和上限。

  1. 置信(水平、系数)的含义是针对方法的。
  2. α 通常取 0.05,0.01,0.1
  3. 可靠度优先,即先保证 P(ˆθ1<θ<ˆθ2)1α,之后再尽量提升精度(常用 E(ˆθ2ˆθ1) 来刻画)。

实例

e.g. XN(μ,σ2)σ2 已知,μ 未知。
P(¯Xc1<μ<¯Xc2)=P(c2<¯Xμ<c1)

¯XμN(0,σ2n),因此: P(|¯Xμσn|<zα2)=1α
其中 zα2 称为上 α2 分位数,即: Φ(zα2)=1α2
故所求区间估计为: (¯Xzα2σn,¯X+zα2σn)

  1. 有时也记为:
    ¯X±zα2σn

  2. α=0.05,则 zα21.962

  3. ¯X 估计 μ,则 (1α) 置信误差 (¯Xμ) 不会超过 zα2σnσn——标准误)。
  4. 给定 ε>0,则 n(zα2σε)2 时,(1α) 置信误差 ε

e.g. XN(μ,σ2)μ,σ2 未知,估计 μ
¯XμSnt(n1)


这是考虑到:
¯XμσnN(0,1)(n1)S2σ2χ2(n1)¯Xμσn(n1)S2σ2/(n1)t(n1)

因此所求即为:
(¯Xtα2(n1)Sn,¯X+tα2(n1)Sn)

枢轴变量法

  1. 找出 θ 的相关统计量 ˆθ(X1,,Xn)(通常为 θ 的良好点估计)。
  2. 找出函数 H(ˆθ,θ) (枢轴变量)的分布(要与未知参数无关)。
  3. 求出 (ˆθ1,ˆθ2)

e.g. XN(μ,σ2)μ,σ2 未知,估计 σ2
(n1)S2σ2χ2(n1)


所求为:
((n1)S2χ2α2(n1),(n1)S2χ21α2(n1))

  1. μ 为位置参数,σ 为尺度参数。
  2. 以上皆为单样本估计(只有一个总体)。

e.g. XN(μ1,σ2),YN(μ2,σ2) 独立,μ1,μ2,σ2 未知,X1,,Xn;Y1,,Ym 为样本,估计 μ1μ2
(¯X¯Y)(μ1μ2)N(0,σ2n+σ2m)(¯X¯Y)(μ1μ2)σ1n+1mN(0,1)


定义:
S2:=n1n+m2S21+m1n+m2S22=1m+n2(ni=1(Xi¯X)2+mj=1(Yi¯Y)2)

而:
(n1)S21σ2+(m1)S22σ2χ2(n+m2)

因此:
(¯X¯Y)(μ1μ2)S1n+1mt(n+m2)

因此所求即为:
μ1μ2=(¯X¯Y)±tα2(n+m2)S1n+1m

渐进置信区间(大样本方法)

e.g.(选举问题)P——真实的支持度,n=12006841200=0.57 为观测比例,XiB(P),i=1,2,nPn:=¯X

则:
E(Pn)=PVar(Pn)=P(1P)n


因此:
PnPP(1P)nN(0,1)

(根据中心极限定理)

α=0.05

  1. S2 近似 P(1P)=Var(Xi)。(S20.2475

    (0,542,0.598)

  2. m2 近似 P(1P)=Var(Xi) Pn(1Pn) 近似 P(1P)

    (0.542,0.598)

  3. P(1P) 的上界 14 近似 P(1P)

    (0.542,0.599)

:置信 1α,近似程度取决于 n 及总体分布。

e.g.(双样本)XN(μ1,σ21),YN(μ2,σ22) 独立,μ1,μ2,σ21,σ22 未知,估计 μ1μ2X1,,Xn;Y1,,Ym 为样本。
(¯X¯Y)(μ1μ2)σ21n+σ22mN(0,1)(¯X¯Y)(μ1μ2)S21n+S22mN(0,1)


之后过程略。

:可考虑单侧置信区间:e.g. P(θ<ˆθ2)1αP(θ>ˆθ1)1α 称为单侧区间估计。

Bayes 区间估计

fΘ(θ|x) 为后验分布,则要求即为:
P(a<Θ<b|x)1α

最大后验区间估计
fΘ(θ1|x)fΘ(θ2|x),θ1(a,b),θ2(a,b)

同置信下长度最短。

e.g. XN(μ,σ2)σ2 已知。

f(μ)1,则 μ 的后验分布:
N(¯X,σ2n)μ¯XσnN(0,1)(¯Xzα2σn,¯X+zα2σn)

:与经典方法结果相同,反映了无先验信息可用,只能靠样本。

9、充分统计量

定义

若样本 (X1,,Xn) 在已知统计量 T(X1,,Xn) 取值时的条件分布与 θ 无关,则称 Tθ 的充分统计量。

实例

e.g. XN(μ,σ2)σ2 已知,X1,,Xn iid,样本分布:
f(x1,,xn;μ)=ni=1(12πσe(Xiμ)22σ2)=(12πσ)nexp(12σ2ni=1(Xi¯X)2)exp((¯Xμ)22σ2n)


¯XN(μ,σ2n),所以:
f(x1,,xn;μ)f(¯X;μ)=f(x1,,xn|¯X;μ)=Cnexp(12σ2ni=1(Xi¯X)2)

μ 无关 ¯Xμ 的充分统计量。

定理(因子分解)

T(X1,,Xn)θ 的充分统计量 函数 g(t,θ)h(x1,,xn) s.t.
f(X1,,Xn;θ)=g(T(X1,,Xn),θ)h(X1,,Xn)


证明略。

充分性原理

T 充分,两组观测 (x(1)1,,x(1)n)(x(2)1,,x(2)n) 具有相同的统计量值,则关于 θ 的基于样本和 T 的推断完全相同。

:充分统计量不唯一。

 

点赞 0

No Comments

Add your comment

你不一定逆风翻盘,但请一定向阳而生。