微积分笔记(41)——多变量函数的微分学(4)

微积分笔记(41)——多变量函数的微分学(4)

Contents

多变量函数的微分学

多元函数的多项式逼近

回忆

用一元多项式逼近一元函数,也就是利用 Taylor 公式。

现在希望用 $n$ 元多项式逼近 $n$ 元函数。

多项式逼近问题

  1. 设 $n$ 元函数 $f(\mathbf{x})$ 可微,则:
    $$
    f(\mathbf{a} + \Delta \mathbf{x}) = f(\mathbf{a}) + \sum_{i = 1}^n D_i f(\mathbf{a}) \Delta x_i + o(\| \Delta \mathbf{x} \|)
    $$

  2. 若上面 $f(\mathbf{x})$ 在 $\mathbf{a}$ 点有 $m + 1$ 阶连续偏导数,是否有 $m$ 次多项式 $P_m(\mathbf{x})$,使得:
    $$
    f(\mathbf{a} + \Delta \mathbf{x}) = P_m(\Delta \mathbf{x}) + o(\| \Delta \mathbf{x} \|^m)
    $$
    若答案肯定,如何求 $P_m(\mathbf{x})$。

方法(将 $n$ 元函数化为 $1$ 元函数情况)

设 $f \in C^{m + 1}(B_r(\mathbf{a})), \mathbf{a} \in \mathbb{R}^n, r > 0, \forall \Delta \mathbf{x} \in \mathbb{R}^n, \| \Delta \mathbf{x} \| < r$,定义: $$ \varphi(t) = f(\mathbf{a} + t \Delta \mathbf{x}) \in C^{m + 1}[0, 1] $$ 应用一元函数的 Taylor 公式:$\forall t \in [0, 1], \exists \theta \in [0, 1]$: $$ \varphi(t) = \sum_{k = 1}^m \frac{\varphi^{(k)}(0)}{k!} t^k + \frac{\varphi^{(m + 1)}(\theta t)}{(m + 1)!} t^{m + 1} $$ 特别取 $t = 1$ 得到: $$ \varphi(1) = \sum_{k = 1}^m \frac{\varphi^{(k)}(0)}{k!} + \frac{\varphi^{(m + 1)}(\theta)}{(m + 1)!} \tag{1} $$ 下面将引入的 $1$ 元函数回到 $n$ 元函数 $f$ 的表达式。已知 $\varphi(t) = f(\mathbf{a} + t \Delta \mathbf{x}) \in C^{m + 1}[0, 1], \exists \theta \in (0, 1)$ 有上面结论成立。其中: $$ \varphi(1) = f(\mathbf{a} + \Delta \mathbf{x}), \varphi(0) = f(\mathbf{a}) $$ 并且: $$ \varphi^\prime(t) = \sum_{i = 1}^n \frac{\partial f(\mathbf{a} + t \Delta \mathbf{x})}{\partial x_i} \Delta x_i, \varphi^\prime(0) = \sum_{i = 1}^n \frac{\partial f(\mathbf{a})}{\partial x_i} \Delta x_i \\ \varphi^{\prime\prime}(t) = \sum_{i, j = 1}^n \frac{\partial^2 f(\mathbf{a} + t \Delta \mathbf{x})}{\partial x_i \partial x_j} \Delta x_i \Delta x_j, \cdots \cdots $$ 带回 $(1)$ 即可得 Taylor 公式。

Taylor 公式($C^2$ 函数的多项式逼近)

设 $f \in C^2(B_r(\mathbf{a})), \mathbf{a} \in \mathbb{R}^n, r > 0$,则 $\forall \| \Delta \mathbf{x} \| < r, \exists \theta \in (0, 1)$: $$ f(\mathbf{a} + \Delta \mathbf{x}) = f(\mathbf{a}) + \sum_{i = 1}^n \frac{\partial f(\mathbf{a})}{\partial x_i} \Delta x_i + \frac{1}{2} \sum_{i, j = 1}^n \frac{\partial^2 f(\mathbf{a} + \theta \Delta \mathbf{x})}{\partial x_i \partial x_j} \Delta x_i \Delta x_j $$ 为简化表达式,引入 Hesse 矩阵: $$ Hf(\mathbf{x}) := \begin{pmatrix} D_1 D_1 f(\mathbf{x}) & \cdots & D_1 D_n f(\mathbf{x}) \\ \vdots & \ddots & \vdots \\ D_n D_1 f(\mathbf{x}) & \cdots & D_n D_n f(\mathbf{x}) \end{pmatrix}_{n \times n} $$ 综上可以得到以下 $2$ 种 Taylor 多项式逼近公式: $$ f(\mathbf{a} + \Delta \mathbf{x}) = f(\mathbf{a}) + Jf(\mathbf{a}) \Delta \mathbf{x} + \frac{1}{2} (\Delta \mathbf{x})^T Hf(\mathbf{a}) \Delta \mathbf{x} + o(\| \Delta \mathbf{x} \|^2) \tag{2} \\ $$$$ f(\mathbf{a} + \Delta \mathbf{x}) = f(\mathbf{a}) + Jf(\mathbf{a}) \Delta \mathbf{x} + \frac{1}{2} (\Delta \mathbf{x})^T Hf(\mathbf{a} + \theta \Delta \mathbf{x}) \Delta \mathbf{x} \tag{3} $$其中 $(2)$ 为带 Peano 型余项,$(3)$ 为带 Lagrange 型余项,其中 $\theta \in (0, 1)$。上面公式采用了矩阵记号与运算约定。证明:只须注意 $(\Delta \mathbf{x})^T [Hf(\mathbf{a} + \theta \Delta \mathbf{x}) - Hf(\mathbf{a})] \Delta \mathbf{x} = o(\| \Delta \mathbf{x} \|^2)$。$\square$

多元函数的极值问题

极值问题

求函数的极大极小值,最大最小值,是 Taylor 公式的一个应用。

极值(局部最值)

设 $f : D \to \mathbb{R}, \mathbf{a} \in D^\circ$:

  1. $f(\mathbf{a})$ 是极大值:$\exists r > 0, \forall \| \mathbf{x} - \mathbf{a} \| < r, f(\mathbf{x}) \le f(\mathbf{a})$。
  2. $f(\mathbf{a})$ 是极小值:$\exists r > 0, \forall \| \mathbf{x} - \mathbf{a} \| < r, f(\mathbf{x}) \ge f(\mathbf{a})$。

(严格极值定义略)

若 $f(\mathbf{a})$ 是极大值或极小值,则称 $\mathbf{a}$ 为极大值点或极小值点。

极值必要条件

  1. 设 $f$ 在 $\mathbf{a}$ 点达到极值且 $D_\mathbf{u} f$ 存在,则 $D_\mathbf{u}(\mathbf{a}) = 0$;
  2. 若 $f$ 在 $\mathbf{a}$ 点达到极值且可微,则 $Jf(\mathbf{a}) = \mathbf{0}$,也即 $D_i f(\mathbf{a}) = 0, i = 1, 2, \cdots, n$。

驻点-临界点

若函数 $Jf(\mathbf{a}) = \mathbf{0}$,则称 $\mathbf{a}$ 称 $f$ 的驻点(也称临界点)。

  1. 在有些文献中,不可微点也被称为临界点。
  2. 可微函数仅在驻点达到极值,但反之不比成立。

对于 $f(x, y) = x^2 - y^2$,原点是驻点,但是原点并非极值点。

极值的充分条件

如果 $\mathbf{a}$ 是 $f(\mathbf{x})$ 的驻点,则根据 Taylor 公式,可知 $\mathbf{a}$ 是否极值点由 Hesse 矩阵 $Hf$ 的性质决定。

如果 $\exists r > 0, f \in C^2(B_r(\mathbf{a}))$,则:

  1. 若 $Hf$ 正定,则 $f(\mathbf{a})$ 为严格极小值。
  2. 若 $Hf$ 负定,则 $f(\mathbf{a})$ 为严格极大值。
  3. 若 $Hf$ 不定,则 $f(\mathbf{a})$ 不是极值。

证明:如前观察,已知 $Hf(\mathbf{a})$ 正定,其特征值全部大于 $0$,由连续性可知 $\mathbf{x} = \mathbf{a}$ 附近 $Hf(\mathbf{x})$ 也正定,由此导出第一条。

第二条与第一条完全平行。

对于第三条,论证基于:
$$
f(\mathbf{a} + \Delta \mathbf{x}) = f(\mathbf{a}) + \frac{1}{2} (\Delta \mathbf{x})^T Hf(\mathbf{a}) \Delta \mathbf{x} + o(\| \Delta \mathbf{x} \|^2) \tag{2} \\
$$
已知矩阵 $Hf(\mathbf{a})$ 不定:$\exists \mathbf{u}, \mathbf{v} \in \mathbb{R}^n, \| \mathbf{u} \| = \| \mathbf{v} \| = 1$:
$$
\mathbf{u}^T Hf(\mathbf{a}) \mathbf{u} > 0 > \mathbf{v}^T Hf(\mathbf{a}) \mathbf{v}
$$
特别有:
$$
f(\mathbf{a} + t \mathbf{u}) = f(\mathbf{a}) + \frac{t^2}{2} \left( \mathbf{u}^T Hf(\mathbf{a}) \mathbf{u} \right) + o(t^2) \\
f(\mathbf{a} + t \mathbf{v}) = f(\mathbf{a}) + \frac{t^2}{2} \left( \mathbf{v}^T Hf(\mathbf{a}) \mathbf{v} \right) + o(t^2)
$$
因此当 $t$ 充分小时:
$$
f(\mathbf{a} + t \mathbf{u}) > f(\mathbf{a}) > f(\mathbf{a} + t \mathbf{v})
$$
即 $f(\mathbf{a})$ 不是极值。$\square$

$2$ 元函数的极值判别

设 $\mathbf{a}$ 是 $f(x, y)$ 的驻点且 $\exists r > 0, f \in C^2(B_r(\mathbf{a}))$,记:
$$
A = \frac{\partial^2 f}{\partial x^2} (\mathbf{a}), B = \frac{\partial^2 f}{\partial x \partial y} (\mathbf{a}), C = \frac{\partial^2 f}{\partial y^2} (\mathbf{a})
$$
则:

  1. $AC - B^2 > 0, A > 0$,则 $f(\mathbf{a})$ 为严格极小值;
  2. $AC - B^2 > 0, A < 0$,则 $f(\mathbf{a})$ 为严格极大值。
  3. $AC - B^2 < 0$,则 $f(\mathbf{a})$ 不是极值。

证明略。

:关于 Hesse 矩阵的性质,还有半定的情况,此时定理失效。

反例如 $f_1(x, y) = x^4 - y^4, f_2(x, y) = x^4 + y^4$。

 

点赞 0

No Comments

Add your comment