线性代数笔记（15）——相似对角化与实对称矩阵

线性代数笔记（15）——相似对角化与实对称矩阵

相似对角化

相似

$n$ 阶阵 $A$，可逆阵 $P_{n \times n}$，称 $P^{-1}AP$ 与 $A$ 是相似的。

若 $P^{-1}AP$ 是对角阵，称 $A$ 是可（相似）对角化。

定理：$n$ 阶阵 $A$ 可相似对角化 $\Leftrightarrow A$ 有 $n$ 个线性无关的特征向量 $\Leftrightarrow$ 对任意特征值 $\lambda_i$，$GM(\lambda_i) = AM(\lambda_i)$。

（因为把不同特征值对应的线性无关的特征向量放在一起，它们依然是线性无关的）

应用 1：计算矩阵的幂

若矩阵 $A$ 可对角化，$A = S \Lambda S^{-1}$，则可快速计算 $A^k$：

$$A^k = S \Lambda^k S^{-1} = S \begin{pmatrix} \lambda_1^k & 0 & \cdots & 0 \\ 0 & \lambda_2^k & \cdots & 0 \\ \vdots & \vdots & \ddots & \vdots \\ 0 & 0 & \cdots & \lambda_n^k \end{pmatrix} S^{-1}$$

应用 2：Markov 过程

$$\begin{pmatrix} p_i \\ q_i \end{pmatrix} = A \begin{pmatrix} p_{i-1} \\ q_{i-1} \end{pmatrix} \\ \begin{pmatrix} p_k \\ q_k \end{pmatrix} = A^k \begin{pmatrix} p_0 \\ q_0 \end{pmatrix}$$

其中 $A$ 每列和为 $1$，且所有元素非负，则此过程称为 Markov 过程。

同样可以得出 $n$ 个元素的定义。

最终状态往往与 $A$ 对应于 $\lambda = 1$ 的特征向量有关。

实对称矩阵

实对称矩阵的特征值与特征向量

定理 1：实对称矩阵的特征值都是实数。

证明：设 $\lambda \in \mathbb{C}$ 是实对称阵 $A$ 的一个特征值。

记一个数 $x$ 的共轭为 $\overline{x}$，则只需证明 $\lambda = \overline{\lambda}$。

对于一个向量 $\mathbf{x}$，用 $\overline{\mathbf{x}}$ 表示对其每个分量取共轭所得的向量，矩阵同理。

设 $A \mathbf{x} = \lambda \mathbf{x}$，其中 $\mathbf{x}$ 是非零向量。

则 $\lambda \overline{\mathbf{x}}^T \mathbf{x} = \overline{\mathbf{x}}^T A \mathbf{x} = (\overline{\mathbf{x}}^T A^T \mathbf{x})^T = \mathbf{x}^T \bar{A} \overline{\mathbf{x}} = \mathbf{x}^T (\overline{Ax}) = \overline{\lambda} \mathbf{x}^T \overline{\mathbf{x}} = \overline{\lambda} \overline{\mathbf{x}}^T \mathbf{x}$。

所以 $(\lambda – \overline{\lambda}) \overline{\mathbf{x}}^T \mathbf{x} = 0$。

而 $\overline{\mathbf{x}}^T \mathbf{x} = \sum\limits_{i = 1}^n \overline{x_i} x_i \not = 0$。

故 $\lambda = \overline{\lambda}$。

定理 2：实对称矩阵不同特征值的特征向量相互正交。

证明：设两特征值为 $\lambda,\mu$，对应特征向量为 $\mathbf{x},\mathbf{y}$。

则 $\mu \mathbf{x}^T \mathbf{y} = \mathbf{x}^T A \mathbf{y} = (\mathbf{x}^T A \mathbf{y})^T = \mathbf{y}^T A \mathbf{x} = \mathbf{y}^T \lambda \mathbf{x} = \lambda \mathbf{y}^T \mathbf{x} = \lambda \mathbf{x}^T \mathbf{y}$。

因为 $\lambda \not = \mu$，故 $\mathbf{x}^T \mathbf{y} = \mathbf{y}^T \mathbf{x} = 0$。

实对称阵正交相似于对角阵

定理 3：$A_{n \times n}$ 是实对称矩阵 $\Rightarrow \exists$ 正交阵 $Q$ 使得 $Q^T A Q = Q^{-1} A Q = \Lambda$。

证明：对阶数 $n$ 做数学归纳。

$n = 1$ 成立。

假设 $n – 1$ 阶成立，当 $n$ 阶时，设 $\lambda \in \mathbb{R}$ 是 $A$ 的一个特征值，记 $A \mathbf{x_1} = \lambda \mathbf{x_1},\| \mathbf{x_1} \| = 1$。

将 $\mathbf{x_1}$ 扩充成 $\mathbf{x_1},\cdots,\mathbf{x_n}$ 构成 $A$ 的一组标准正交基（正交化）。

记 $Q_1 = (\mathbf{x_1},\mathbf{x_2},\cdots,\mathbf{x_n})$ 是个正交阵。

$$AQ_1 = A (\mathbf{x_1},\mathbf{x_2},\cdots,\mathbf{x_n}) = Q_1 \begin{pmatrix} \lambda_1 & \alpha \\ 0 & A_1 \end{pmatrix}$$
则：
$$\begin{pmatrix} \lambda_1 & \alpha \\ 0 & A_1 \end{pmatrix} = Q_1^T A Q_1 = Q_1^T A Q_1 = (Q_1^T A Q_1)^T = \begin{pmatrix} \lambda_1 & 0 \\ \alpha & A_1 \end{pmatrix}$$
可知 $\alpha$ 为零向量，且 $A_1$ 为实对称矩阵。

由归纳假设，$\exists$ 正交阵 $Q_2$ 使得 $Q_2^T A_1 Q_2 = \Lambda$。

考虑构造：

$$Q_3 = \begin{pmatrix} 1 & \\ & Q_2 \end{pmatrix} \\ Q_3^T Q_1^T A Q_1 Q_3 = \begin{pmatrix} 1 & \\ & Q_2^T \end{pmatrix} \begin{pmatrix} \lambda_1 & \\ & A_1 \end{pmatrix} \begin{pmatrix} 1 & \\ & Q_2 \end{pmatrix} \\ = \begin{pmatrix} \lambda_1 & \\ & Q_2^T A_1 \end{pmatrix} \begin{pmatrix} 1 & \\ & Q_2 \end{pmatrix} = \begin{pmatrix} \lambda_1 & \\ & Q_2^T A_1 Q_2 \end{pmatrix} = \begin{pmatrix} \lambda_1 & \\ & \Lambda \end{pmatrix}$$
可知 $Q = Q_1 Q_3$ 即满足条件。

注：若设 $Q = (\mathbf{q}_1,\mathbf{q}_2,\cdots,\mathbf{q}_n)$，则 $A = \lambda_1 \mathbf{q}_1 \mathbf{q}^T_1 + \lambda_2 \mathbf{q}_2 \mathbf{q}^T_2 + \cdots + \lambda_n \mathbf{q}_n \mathbf{q}^T_n$，即实对称矩阵可以写为秩为 $1$ 的矩阵的线性组合。

推论：令 $\mathbf{x} = Q \mathbf{y}$，则 $\mathbf{x}^T A \mathbf{x} = \sum\limits_{i = 1}^n \lambda_i y_i^2$。

$|\mathbf{x}^T A \mathbf{x}| \le |\lambda_{max}| \mathbf{x}^T \mathbf{x}$。

正定矩阵

正定矩阵

$n$ 阶实对称阵 $A$，若 $A$ 的所有特征值均大于 $0$，则称 $A$ 为正定矩阵。

当 $A$ 实对称时，可证明以下叙述等价：

1. $A$ 所有特征值都大于 $0$；
2. $\forall \mathbf{x} \in \mathbb{R}^n,\mathbf{x} \not = \mathbf{0}$ 都有 $\mathbf{x}^T A \mathbf{x} > 0$。
3. $A$ 的所有顺序主子式都大于 $0$。
4. 只做上面行的倍数加到下面行，$A$ 有 $n$ 个主元都大于 $0$。
5. $\exists$ 列满秩矩阵 $R$，使得 $A = R^T R$。
6. $A$ 的所有主子式都大于 $0$。

主子阵：选出一个子方阵，满足对角线元素都在原来的对角线上。

主子式：主子阵的行列式。

顺序主子阵（式）：取前若干列和若干行得到的方阵（的行列式）。

证明：

1 推 2：只须利用上面的定理 3 即可得到。

2 推 1：取 $\mathbf{x}$ 为对应的特征向量，$\mathbf{x}^T A \mathbf{x} = \lambda \mathbf{x}^T \mathbf{x} > 0$。

2 推 3：由 1 知 $\det A > 0$，取 $\mathbf{x}$ 的后 $n – i$ 个元素均为 $0$，前 $i$ 个元素不全为 $0$，可得到左上角顺序主子阵满足 $\mathbf{x}_i^T A_i \mathbf{x}_i > 0$，可得其为正定矩阵，则 $\det A_i > 0$。

3 推 4：实对称阵 $A$ 可以 $A = LDL^T$ 分解，也有 $A = LU$ 分解，由条件 $3$，任意一个顺序主子式 $\det A_i = \prod\limits_{k = 1}^i d_k > 0$（$d_i$ 为 $U$ 中对角线上第 $i$ 个元素），故主元 $d_i > 0$。

4 推 2：实对称阵 $A$ 的 $LDL^T$ 分解，将 $D = D’^2$，其中 $D’$ 的对角线元素为 $D$ 中对应对角线元素的算术平方根，则可得到 $\mathbf{x}^T A \mathbf{x} = \mathbf{y}^T \mathbf{y} > 0$（$\mathbf{y} \not = 0$）。

2 推 5：由 4 的方法即可得 $R$。

5 推 2：上一步反推即可。

6 推 2：6 可得 3，于是得 2。

2 推 6：与 2 推 3 基本相似。

 笔记 线性代数