微积分笔记（42）——多变量函数的微分学（5）

微积分笔记（42）——多变量函数的微分学（5）

多变量函数的微分学

带约束条件的极值问题

实例

容积为 $V$ 的无盖长方体容器，如何制作最省材料？

$$S = xy + \frac{2(x + y)V}{xy}$$
推广：一般情况下约束方程是否可以解出需要的变量？

方法：隐函数定理。

条件极值问题

设 $f : D \to \mathbb{R}, \pmb{\Phi} : D \to \mathbb{R}^m, D\subseteq \mathbb{R}^{m + n}$ 是开集，$(\mathbf{x}, \mathbf{y}) \in \mathbb{R}^{m + n}$，求满足 $\pmb{\Phi}(\mathbf{x}, \mathbf{y}) = \mathbf{0}$ 条件下 $f(\mathbf{x}, \mathbf{y})$ 的最大值或最小值，记为：

$$\begin{cases} \max f(\mathbf{x}, \mathbf{y}) \\ \pmb{\Phi}(\mathbf{x}, \mathbf{y}) = \mathbf{0} \end{cases} \text{或} \begin{cases} \min f(\mathbf{x}, \mathbf{y}) \\ \pmb{\Phi}(\mathbf{x}, \mathbf{y}) = \mathbf{0} \end{cases} \tag{M}$$
其中 $f(\mathbf{x}, \mathbf{y})$ 称为目标函数，$\pmb{\Phi}(\mathbf{x}, \mathbf{y}) = \mathbf{0}$ 称为约束条件。

问题分析（$m = 1$）

假设：

$$\frac{\partial \Phi}{\partial y}(\mathbf{x}_0, y_0) \not = 0$$
则 $F(\mathbf{x}) := f(\mathbf{x}, y(\mathbf{x}))$ 在 $\mathbf{x}_0$ 达到极值，则 $JF(\mathbf{x}_0) = \mathbf{0}$。

即：

$$\frac{\partial F}{\partial x_i}(\mathbf{x}_0) = \frac{\partial f}{\partial x_i} (\mathbf{x}_0, y_0) + \frac{\partial f}{\partial y}(\mathbf{x}_0, y_0) \frac{\partial y}{\partial x_i} (\mathbf{x}_0) = 0,\ \ i = 1, \cdots, n$$
其中：
$$\frac{\partial y}{\partial x_i} (\mathbf{x}_0) = -\frac{\partial \Phi}{\partial x_i} (\mathbf{x}_0, y_0) \Big / \frac{\partial \Phi}{\partial y} (\mathbf{x}_0, y_0)$$
代入：
$$\frac{\partial f}{\partial x_i} (\mathbf{x}_0, y_0) – \frac{\partial f}{\partial y}(\mathbf{x}_0, y_0) \frac{\partial \Phi}{\partial x_i} (\mathbf{x}_0, y_0) \Big / \frac{\partial \Phi}{\partial y} (\mathbf{x}_0, y_0) = 0$$
引入参数：
$$\lambda = – \frac{\partial f}{\partial y}(\mathbf{x}_0, y_0) \Big / \frac{\partial \Phi}{\partial y} (\mathbf{x}_0, y_0) = 0$$
上式变成：
$$\frac{\partial f}{\partial x_i} (\mathbf{x}_0, y_0) + \lambda \frac{\partial \Phi}{\partial x_i} (\mathbf{x}_0, y_0) = 0$$
综上得到：
$$J f(\mathbf{x}_0, y_0) + \lambda J \Phi(\mathbf{x}_0, y_0) = 0$$
（必要条件）

定理（条件极值必要定理）

设 $f \in C^1(D), \pmb{\Phi} \in C^1(D, \mathbb{R}^m), D \subseteq \mathbb{R}^{n + m}$ 是开集，如果在约束 $\pmb{\Phi}(\mathbf{x}, \mathbf{y}) = 0$ 下 $f(\mathbf{x}, \mathbf{y})$ 在 $P$ 点达到极值，记 $P = (\mathbf{x}_0, \mathbf{y}_0) \in D$，又设 $\det[J_\mathbf{y} \pmb{\Phi}(\mathbf{x}_0, \mathbf{y}_0)] \not = 0$，则 $\exists \Lambda \in \mathbb{R}^m$：

$$J f(\mathbf{x}_0, \mathbf{y}_0) + \Lambda J \pmb{\Phi}(\mathbf{x}_0, \mathbf{y}_0) = \mathbf{0}$$
注：令 $\pmb{\Phi} = \begin{pmatrix}\varphi_1 & \cdots & \varphi_m\end{pmatrix}^T, \Lambda = \begin{pmatrix}\lambda_1 & \cdots & \lambda_m\end{pmatrix}$，上式化为：
$$J(f + \lambda_1 \varphi_1 + \cdots + \lambda_m \varphi_m) = \mathbf{0}$$
（在 $P$ 点）

Lagrange 乘数法

Lagrange 数乘法（引入辅助函数）

定义函数 $\pmb{L} : D \times \mathbb{R}^m \to \mathbb{R}$：

$$L(\mathbf{z}, \Lambda) = f(\mathbf{z}) + \Lambda \pmb{\Phi}(\mathbf{z}), (\mathbf{z}, \Lambda) \in D \times \mathbb{R}^m$$
称为条件极值问题 $(M)$ 的 Lagrange 函数。

根据条件极值必要条件，在条件极值点 $\mathbf{z}_0 \in D$，$\exists \Lambda \in \mathbb{R}^m$：

$$J_\mathbf{z} L(\mathbf{z}_0, \Lambda) = J_\mathbf{z} f(\mathbf{z}_0) + \Lambda \Phi(\mathbf{z}_0) = \mathbf{0}$$
此外：
$$J_\Lambda L(\mathbf{z}_0, \Lambda) = \pmb{\Phi}(\mathbf{z}_0) = \mathbf{0}$$
故：
$$J L(\mathbf{z}_0, \Lambda) = \mathbf{0}$$
——满足 L-方程的临界点方程（$n + 2m$ 个方程，$n + 2m$ 个未知数）

条件极值的充分条件

根据 Taylor 公式，可得：

$$H_\mathbf{z} L(\mathbf{z}) = H_\mathbf{z} f(\mathbf{z}) + \Lambda H_\mathbf{z} \pmb{\Phi}(\mathbf{z})$$
可见 $P$ 是否极值可由 Lagrange 函数的 Hesse 矩阵来确定。

定理（条件极值的充分条件）

设 $\exists r > 0, f \in C^2(B_r(P)), \pmb{\Phi} \in C^2(B_r(P), \mathbb{R}^m)$ 相应的 Lagrange 函数：

$$L(\mathbf{z}, \Lambda) = f(\mathbf{z}) + \Lambda \pmb{\Phi}(\mathbf{z})$$
令 $P$ 是 $L$ 的驻点：$\exists \Lambda \in \mathbb{R}^m, JL(P, \Lambda) = \mathbf{0}$。

记：

$$A := H_\mathbf{z} L(P, \Lambda) = H_\mathbf{z} L(\mathbf{z}) = H_\mathbf{z} f(P) + \Lambda H_\mathbf{z} \pmb{\Phi}(P)$$

1. 若 $A$ 正定，则 $f(P)$ 为严格条件极小值；
2. 若 $A$ 负定，则 $f(P)$ 为严格条件极大值。

注：与无条件极值问题不同，在 $A$ 不定时 $f(P)$ 也有可能取得条件极值。

实例

二次型在单位球面上的最大最小值。

可得最大最小值为矩阵的特征值的最大最小值。

 微积分 笔记