Loading [MathJax]/jax/output/HTML-CSS/jax.js

线性代数笔记(11)——投影、最小二乘法和正交化

线性代数笔记(11)——投影、最小二乘法和正交化

投影

直和

W1W2={0},则称 W1+W2 是“直和”。

点在直线上的投影

bn×1Rn,求其在 an×10 为方向的直线上的投影。

:设投影 p=ta,tR,则:
aT(bp)=0aT(bta)=0t=aTbaTap=(aTbaTa)a


又因为 (aTb)a=a(aTb)=(aaT)b,因此 p=(aaTaTa)b

S=aaTaTa 就被称为一个投影矩阵

可知:ST=S,S2=S

点在超平面(子空间)上的投影

bm×1Rm,求其在超平面(子空间) C(A) 上的投影(A=(α1,α2,,αn),αiRm)。

:设投影为 p=Am×nˆxn×1,则:
(bp)C(A)AT(bp)=0AT(bAˆx)=0ATAˆx=ATb


最后的方程称为正规方程(normal equation)

A 列满秩,则 ATA 可逆,故 ˆx=(ATA)1ATb,投影 p=Am×nˆxn×1=A(ATA)1ATb

可以证明,此方程必定有解ATbC(AT)=C(ATA)),且投影 p 唯一

ATAˆx1=ATAˆx2=ATb,则 (ˆx1ˆx2)N(ATA)=N(A),故 A(ˆx1ˆx2)=0,即 Aˆx1=Aˆx2=p

P=A(ATA)1AT投影矩阵

一般地,一个矩阵 P 满足 PT=P,P2=P,则称 P投影矩阵

定理:设 P 是一个 n 阶投影矩阵,则:
C(P)=N(IP),N(P)=C(IP)


证明
P2=0P(IP)=0C(IP)N(P)αN(P),α=αPα=(IP)αC(IP)N(P)C(IP)

最小二乘法

定义

Ax=b 无解,找 ˆx 使当 x=ˆx 时,bAx 最小,此时 ˆx 称为方程的最小二乘解

ATAˆx=ATb 称为正规方程组

A 列满秩时,ˆx=(ATA)1ATb

e=bAˆx 称为误差向量

性质

  1. 正规方程组 ATAˆx=ATb 总有解(无论 A 是否列满秩),因为 C(AT)=C(ATA),ATbC(AT)=C(ATA)
  2. 正规方程组的解可能有无穷多,但投影 p=Aˆx 唯一。(证明见上)

应用:曲线拟合

设给定数据 {(x1,y1),,(xN,yN)}

设定直线 y=C+Dx,使得误差 E(C,D)=[y1(C+Dx1)]2++[yN(C+DxN)]2 最小。

设:
A=(1x11xN),b=(y1yN),ˆx=(ˆCˆD)


即求 ˆx 使得 bAx 最小。

同理设定 n 次曲线 y=a0+a1x++anxn,使得误差 E(a0,a1,,an)=[y1(a0+a1x1++anxn1)]2++[yN(a0+a1xN+anxnN)]2 最小。

令:
A=(1x1xn11xNxnN),b=(y1yN),ˆx=(^a0^an)


即求 ˆx 使得 bAx 最小。

也可以从多元微积分的偏导均为 0 得出正规方程组。

Gram-Schmidt 正交化

目标

给定 VRn 为一个子空间,v1,,vkV 的一组基,把它们化成一组正交的向量 w1,,wk 满足:

  1. wTiwj=0,ij
  2. L(v1,,vt)=span(v1,,vt)=L(w1,,wt)=span(w1,,wt),1tk

算法

w1=v1w2=v2wT1v2wT1w1w1wk=vkk1j=1wTjvkwTjwjwj

最后长度化为 1 (单位化)即为标准正交基。

正交向量和正交矩阵

定理 1:设 v1,,vkRn 是非零的 k 个向量,满足 vTivj=0,ij,则 v1,,vk 线性无关。

证明:设数 a1,,akR 使得 a1v1++akvk=0,有 vT1(a1v1++akvk)=vT10=0,则 a1vT1v1++akvT1vk=0

由条件,可得 a1vT1v1=a1v12=0,又因为 v10,故 a1=0

同理 ai=0,i=2,3,,k

v1,,vk 线性无关。

定理中 v1,,vk 称为正交向量组

定义

  1. q1,,qnn 个列向量,它们是标准正交的,当且仅当:

qTiqj={0ij,1i=j,i,j=1,,n.

Q=(q1,,qn),则 QTQ=In

  1. Q 是一个(实数域)方阵,若 QTQ=I(Q1=QT),则称 Q正交矩阵

  2. uRn,uTu=1, 令 Q=In2uuT 称为一个反射矩阵

定理 2:设 Q 是一个 n 阶正交阵,则 xRn,Qx=x

Gram-Schmidt 正交化过程

定理:若 α1,,αk 非零且相互正交vL(α1,,αk),则:
v=αT1vαT1α1α1++αTkvαTkαkαk


:特别地,若 α1,,αk 标准正交vL(α1,,αk),则:
v=(αT1v)α1++(αTkv)αk

qi=wiwi,则正交化过程可改写为:
w1=v1,q1=w1w1w2=v2(qT1v2)q1,q2=w2w2wk=vkk1j=1(qTjvk)qj,qk=wkwk

QR 分解

可以发现,任意 n 阶可逆方阵 A,可以被分解为 A=QR,其中 Qn 阶正交阵,且:
R=(w10w200wn)


对于 m×n 阶列满秩矩阵 A,也可类似分解,此时 Q 也不是方阵,其列向量相互正交。

定理:设 A 是可逆方阵,则 A=QR 分解唯一。(其中 Q 是正交阵,R 是对角元为正数的上三角阵)

证明:设 A=Q1R1=Q2R2,其中 Q1,Q2,R1,R2 分别满足条件。

QT2Q1=R2R11R2R11 为对角元为正数的上三角阵,QT2Q1 是正交阵,故为单位阵,则 R2=R1,Q2=Q1

 

点赞 0

No Comments

Add your comment

正因为有忘也忘不了的回忆,才会变得坚强,这就是所谓的成长吧!