凸优化数学基础笔记（五）：极小值点的判定条件

​        函数\(f(\mathbf{X})\) 在局部极小值点应满足什么条件？反之，满足什么条件的是局部极小点?这就是凸优化的基本问题。下面针对多元函数的情形给出各类极小值点的定义。
​        定义 5.1 对于任意给定的实数\(\forall \delta>0\)，满足不等式 \(||\mathbf{X}-\mathbf{X}_0||0\)，\(\forall \mathbf{X}\in{N(\mathbf{X}^{*},\delta)}\cap\mathbf{D}\) 都有\(f(\mathbf{X}^*)\leq f(\mathbf{X})\) ，则称\(\mathbf{X}^{*}\) 为\(f(\mathbf{X})\) 局部极小值点（非严格）。
​        定义5.3  设 \(f:\mathbf{D} \subseteq{\mathbf{R}^n}\rightarrow{\mathbf{R}}\) ，若存在点\(\mathbf{X}^{*}\in{\mathbf{D}}\)和正数\(\delta>0\)，\(\forall {\mathbf{X}}\in{N(\mathbf{X}^{*},\delta)}\cap\mathbf{D}\) 且 \(\mathbf{X}\neq{\mathbf{X}^{*}}\) ，都有\(f(\mathbf{X}^{*})f(\mathbf{X}^{*})\) 。
​        一般来说，这个定理具备理论意义。因为对于复杂的目标函数，Hessian矩阵不易求得，它的正定性就更难判定了。
​        定理 5.3 若多元函数在其极小点处的\(Hessian\) 矩阵是正定的，则它在这个点附近的等值面近似地呈现为同心椭球面簇。
证 明：设\(\mathbf{X}^{*}\) 是多元函数的极小点，并设\(f(\mathbf{X})=\gamma\) 是充分靠近极小点\(\mathbf{X}^{*}\) 的一个等值面，即\(||\mathbf{X}-\mathbf{X}^{*}||\)充分小。把\(f(\mathbf{X})\) 在\(\mathbf{X}^{*}\) 点展开Taylor表达式，即

\[\begin{aligned}f(\mathbf{X})=f(\mathbf{X}^{*})+\nabla{f(\mathbf{X}^{*})^{T}}(\mathbf{X}-\mathbf{X}^{*})+\frac{1}{2}(\mathbf{X}-\mathbf{X}^{*})^T\nabla^2f(\mathbf{X}^*)(\mathbf{X}-\mathbf{X}^{*})+o(||\mathbf{X}-\mathbf{X}^*||^2)   \end{aligned}\tag{6}\]
右端第二项因\(\mathbf{X}^{*}\) 是极小值点有\(\nabla{f(\mathbf{X}^{*})}=\mathbf{0}\) 而消失。如果略去高阶小项，那么

\[f(\mathbf{X})\approx f(\mathbf{X}^{*})+\frac{1}{2}(\mathbf{X}-\mathbf{X}^{*})^T\nabla^2f(\mathbf{X}^{*})(\mathbf{X}-\mathbf{X}^{*})+O(||\mathbf{X}-\mathbf{X}^{*}||^2) \tag{7}\]
又因为\(f(\mathbf{X})=\gamma\) ，所以得到如下近似等式：

\[f(\mathbf{X}^{*})+\frac{1}{2}(\mathbf{X}-\mathbf{X}^{*})^T\nabla^2f(\mathbf{X}^{*})(\mathbf{X}-\mathbf{X}^{*})=\gamma \tag{8}\]
其中\(f(\mathbf{X}^{*})\)为已知常量 ，整理可得：

\[(\mathbf{X}-\mathbf{X}^{*})^T\nabla^2f(\mathbf{X}^{*})(\mathbf{X}-\mathbf{X}^{*})=2(\gamma-f(\mathbf{X}^{*}))=constant \tag{9}\]
按假设\(\nabla^2f(\mathbf{X}^{*})\) 正定，由二次型理论可知，式（9）是以\(\mathbf{X}^{*}\) 为中心的椭球面方程。

来源：程序园用户自行投稿发布，如果侵权，请联系站长删除
免责声明：如果侵犯了您的权益，请联系站长，我们会及时删除侵权内容，谢谢合作！