wzf2000 微积分笔记（41）——多变量函数的微分学（4）
Contents
多变量函数的微分学
多元函数的多项式逼近
回忆
用一元多项式逼近一元函数，也就是利用 Taylor 公式。
现在希望用 $n$ 元多项式逼近 $n$ 元函数。
多项式逼近问题
- 设 $n$ 元函数 $f(\mathbf{x})$ 可微，则：
$$
f(\mathbf{a} + \Delta \mathbf{x}) = f(\mathbf{a}) + \sum_{i = 1}^n D_i f(\mathbf{a}) \Delta x_i + o(\| \Delta \mathbf{x} \|)
$$ 若上面 $f(\mathbf{x})$ 在 $\mathbf{a}$ 点有 $m + 1$ 阶连续偏导数，是否有 $m$ 次多项式 $P_m(\mathbf{x})$，使得：
$$
f(\mathbf{a} + \Delta \mathbf{x}) = P_m(\Delta \mathbf{x}) + o(\| \Delta \mathbf{x} \|^m)
$$
若答案肯定，如何求 $P_m(\mathbf{x})$。
方法（将 $n$ 元函数化为 $1$ 元函数情况）
设 $f \in C^{m + 1}(B_r(\mathbf{a})), \mathbf{a} \in \mathbb{R}^n, r > 0, \forall \Delta \mathbf{x} \in \mathbb{R}^n, \| \Delta \mathbf{x} \| < r$，定义： $$ \varphi(t) = f(\mathbf{a} + t \Delta \mathbf{x}) \in C^{m + 1}[0, 1] $$ 应用一元函数的 Taylor 公式：$\forall t \in [0, 1], \exists \theta \in [0, 1]$： $$ \varphi(t) = \sum_{k = 1}^m \frac{\varphi^{(k)}(0)}{k!} t^k + \frac{\varphi^{(m + 1)}(\theta t)}{(m + 1)!} t^{m + 1} $$ 特别取 $t = 1$ 得到： $$ \varphi(1) = \sum_{k = 1}^m \frac{\varphi^{(k)}(0)}{k!} + \frac{\varphi^{(m + 1)}(\theta)}{(m + 1)!} \tag{1} $$ 下面将引入的 $1$ 元函数回到 $n$ 元函数 $f$ 的表达式。已知 $\varphi(t) = f(\mathbf{a} + t \Delta \mathbf{x}) \in C^{m + 1}[0, 1], \exists \theta \in (0, 1)$ 有上面结论成立。其中： $$ \varphi(1) = f(\mathbf{a} + \Delta \mathbf{x}), \varphi(0) = f(\mathbf{a}) $$ 并且： $$ \varphi^\prime(t) = \sum_{i = 1}^n \frac{\partial f(\mathbf{a} + t \Delta \mathbf{x})}{\partial x_i} \Delta x_i, \varphi^\prime(0) = \sum_{i = 1}^n \frac{\partial f(\mathbf{a})}{\partial x_i} \Delta x_i \\ \varphi^{\prime\prime}(t) = \sum_{i, j = 1}^n \frac{\partial^2 f(\mathbf{a} + t \Delta \mathbf{x})}{\partial x_i \partial x_j} \Delta x_i \Delta x_j, \cdots \cdots $$ 带回 $(1)$ 即可得 Taylor 公式。
Taylor 公式（$C^2$ 函数的多项式逼近）
设 $f \in C^2(B_r(\mathbf{a})), \mathbf{a} \in \mathbb{R}^n, r > 0$，则 $\forall \| \Delta \mathbf{x} \| < r, \exists \theta \in (0, 1)$： $$ f(\mathbf{a} + \Delta \mathbf{x}) = f(\mathbf{a}) + \sum_{i = 1}^n \frac{\partial f(\mathbf{a})}{\partial x_i} \Delta x_i + \frac{1}{2} \sum_{i, j = 1}^n \frac{\partial^2 f(\mathbf{a} + \theta \Delta \mathbf{x})}{\partial x_i \partial x_j} \Delta x_i \Delta x_j $$ 为简化表达式，引入 Hesse 矩阵： $$ Hf(\mathbf{x}) := \begin{pmatrix} D_1 D_1 f(\mathbf{x}) & \cdots & D_1 D_n f(\mathbf{x}) \\ \vdots & \ddots & \vdots \\ D_n D_1 f(\mathbf{x}) & \cdots & D_n D_n f(\mathbf{x}) \end{pmatrix}_{n \times n} $$ 综上可以得到以下 $2$ 种 Taylor 多项式逼近公式： $$ f(\mathbf{a} + \Delta \mathbf{x}) = f(\mathbf{a}) + Jf(\mathbf{a}) \Delta \mathbf{x} + \frac{1}{2} (\Delta \mathbf{x})^T Hf(\mathbf{a}) \Delta \mathbf{x} + o(\| \Delta \mathbf{x} \|^2) \tag{2} \\ $$$$ f(\mathbf{a} + \Delta \mathbf{x}) = f(\mathbf{a}) + Jf(\mathbf{a}) \Delta \mathbf{x} + \frac{1}{2} (\Delta \mathbf{x})^T Hf(\mathbf{a} + \theta \Delta \mathbf{x}) \Delta \mathbf{x} \tag{3} $$其中 $(2)$ 为带 Peano 型余项，$(3)$ 为带 Lagrange 型余项，其中 $\theta \in (0, 1)$。上面公式采用了矩阵记号与运算约定。证明：只须注意 $(\Delta \mathbf{x})^T [Hf(\mathbf{a} + \theta \Delta \mathbf{x}) - Hf(\mathbf{a})] \Delta \mathbf{x} = o(\| \Delta \mathbf{x} \|^2)$。$\square$
多元函数的极值问题
极值问题
求函数的极大极小值，最大最小值，是 Taylor 公式的一个应用。
极值（局部最值）
设 $f : D \to \mathbb{R}, \mathbf{a} \in D^\circ$：
- $f(\mathbf{a})$ 是极大值：$\exists r > 0, \forall \| \mathbf{x} - \mathbf{a} \| < r, f(\mathbf{x}) \le f(\mathbf{a})$。
- $f(\mathbf{a})$ 是极小值：$\exists r > 0, \forall \| \mathbf{x} - \mathbf{a} \| < r, f(\mathbf{x}) \ge f(\mathbf{a})$。
（严格极值定义略）
若 $f(\mathbf{a})$ 是极大值或极小值，则称 $\mathbf{a}$ 为极大值点或极小值点。
极值必要条件
- 设 $f$ 在 $\mathbf{a}$ 点达到极值且 $D_\mathbf{u} f$ 存在，则 $D_\mathbf{u}(\mathbf{a}) = 0$；
- 若 $f$ 在 $\mathbf{a}$ 点达到极值且可微，则 $Jf(\mathbf{a}) = \mathbf{0}$，也即 $D_i f(\mathbf{a}) = 0, i = 1, 2, \cdots, n$。
驻点-临界点
若函数 $Jf(\mathbf{a}) = \mathbf{0}$，则称 $\mathbf{a}$ 称 $f$ 的驻点（也称临界点）。
注：
- 在有些文献中，不可微点也被称为临界点。
- 可微函数仅在驻点达到极值，但反之不比成立。
对于 $f(x, y) = x^2 - y^2$，原点是驻点，但是原点并非极值点。
极值的充分条件
如果 $\mathbf{a}$ 是 $f(\mathbf{x})$ 的驻点，则根据 Taylor 公式，可知 $\mathbf{a}$ 是否极值点由 Hesse 矩阵 $Hf$ 的性质决定。
如果 $\exists r > 0, f \in C^2(B_r(\mathbf{a}))$，则：
- 若 $Hf$ 正定，则 $f(\mathbf{a})$ 为严格极小值。
- 若 $Hf$ 负定，则 $f(\mathbf{a})$ 为严格极大值。
- 若 $Hf$ 不定，则 $f(\mathbf{a})$ 不是极值。
证明：如前观察，已知 $Hf(\mathbf{a})$ 正定，其特征值全部大于 $0$，由连续性可知 $\mathbf{x} = \mathbf{a}$ 附近 $Hf(\mathbf{x})$ 也正定，由此导出第一条。
第二条与第一条完全平行。
对于第三条，论证基于：
$$
f(\mathbf{a} + \Delta \mathbf{x}) = f(\mathbf{a}) + \frac{1}{2} (\Delta \mathbf{x})^T Hf(\mathbf{a}) \Delta \mathbf{x} + o(\| \Delta \mathbf{x} \|^2) \tag{2} \\
$$
已知矩阵 $Hf(\mathbf{a})$ 不定：$\exists \mathbf{u}, \mathbf{v} \in \mathbb{R}^n, \| \mathbf{u} \| = \| \mathbf{v} \| = 1$：
$$
\mathbf{u}^T Hf(\mathbf{a}) \mathbf{u} > 0 > \mathbf{v}^T Hf(\mathbf{a}) \mathbf{v}
$$
特别有：
$$
f(\mathbf{a} + t \mathbf{u}) = f(\mathbf{a}) + \frac{t^2}{2} \left( \mathbf{u}^T Hf(\mathbf{a}) \mathbf{u} \right) + o(t^2) \\
f(\mathbf{a} + t \mathbf{v}) = f(\mathbf{a}) + \frac{t^2}{2} \left( \mathbf{v}^T Hf(\mathbf{a}) \mathbf{v} \right) + o(t^2)
$$
因此当 $t$ 充分小时：
$$
f(\mathbf{a} + t \mathbf{u}) > f(\mathbf{a}) > f(\mathbf{a} + t \mathbf{v})
$$
即 $f(\mathbf{a})$ 不是极值。$\square$
$2$ 元函数的极值判别
设 $\mathbf{a}$ 是 $f(x, y)$ 的驻点且 $\exists r > 0, f \in C^2(B_r(\mathbf{a}))$，记：
$$
A = \frac{\partial^2 f}{\partial x^2} (\mathbf{a}), B = \frac{\partial^2 f}{\partial x \partial y} (\mathbf{a}), C = \frac{\partial^2 f}{\partial y^2} (\mathbf{a})
$$
则：
- $AC - B^2 > 0, A > 0$，则 $f(\mathbf{a})$ 为严格极小值；
- $AC - B^2 > 0, A < 0$，则 $f(\mathbf{a})$ 为严格极大值。
- $AC - B^2 < 0$，则 $f(\mathbf{a})$ 不是极值。
证明略。
注：关于 Hesse 矩阵的性质，还有半定的情况，此时定理失效。
反例如 $f_1(x, y) = x^4 - y^4, f_2(x, y) = x^4 + y^4$。
No Comments