凸优化数学基础笔记（九）：最优化问题的要素及分类

凸优化数学基础笔记（九）：最优化问题的要素及分类

​        最优化问题（Optimization Problem）是应用数学中的一个核心领域，其目标是在满足一定约束条件的情况下，从一组可能的方案（或解）中找出使某一特定指标（目标）达到最优（最大或最小）的解。作为最优化问题，一般要素有三个要素：（1）优化变量（又称设计变量）、（2）目标函数、（3）约束条件。
1.优化变量

​        一个优化设计方案是用一组设计参数的最优组合来表示的。这些设计参数可概括地划分为两类：一类是可以根据客观规律、具体条件、已有数据等预先给定的参数，统称为常量；另一类是在优化过程中，经过逐步调整，最后达到最优值的独立参数，称为变量(或设计变量、决策变量)。优化问题的目标就是使各变量达到最优组合。变量的个数称为优化问题的维数。例如：有\(n\)个变量\(x_1,x_2,\cdots,x_n\) 的优化问题就是在\(n\)维空间\(\mathbf{R}^n\) 中寻优。\(n\)维空间\(\mathbf{R}^n\) 中的点\(\mathbf{X}=[x_1,x_2,\cdots,x_n]^T\) 就代表优化问题中的一个方案。当变量为连续量时，称为连续变量；当变量只能在离散量中取值，称为离散变量。
2.目标函数

​          反映变量间相互关系\(f:\mathbf{R}^n\rightarrow{\mathbf{R}}\)，衡量决策方案的标准，其函数值大小用于来评价优化方案的好坏。按照规范化的形式，都把优化问题归结为求目标函数的极小问题，换句话说，目标函数值越小，优化方案越好，对于某些追求目标函数极大的问题，可以转换成求其负值最小的问题。即

\[\max{f(\mathbf{X})}=\max{f(x_1,x_2,x_3,\cdots,x_n)}=-\min[-f(\mathbf{X})] \tag{1}\]
因此，在后续笔记中，一律把优化问题描述为目标函数的极小化问题，其中：

\[\min f(\mathbf{X})=\min{f(x_1,x_2,\cdots,x_n)} \tag{2}\]
如果优化问题只有一个目标函数，称为单目标函数，如果优化问题同时追求多个目标，则该问题的目标函数称为多目标函数。 多目标优化问题的目标函数通常表示为:

\[V-\min{F(\mathbf{X})}=[f_1(\mathbf{X}),f_2(\mathbf{X}),f_3(\mathbf{X}),\cdots,f_m(\mathbf{X})]^T \tag{3}\]
其中\(\mathbf{X}=[x_1,x_2,x_3,\cdots,x_n]^T\) ,这时的目标函数在目标空间已经是一个\(m\)维矢量，所以又称为矢量优化问题（一般用\(\min\)加一个前缀“\(V-\)” 来表示）。
3.约束条件

​        变量空间本身应该遵循的限制条件的数学表达式称为约束条件或约束函数。约束条件按其表达式可分为不等式约束和等式约束两种，即

\[s.t.\begin{cases} g_i(\mathbf{X})\geq0\space (i=1,2,\cdots,l)\\ h_j(\mathbf{X})=0 \space (j=1,2,\cdots,m) \end{cases}\tag{4}\]
按约束条件的作用还将约束条件划分为起作用的约束（紧约束，有效约束）和不起作用的约束（松约束、消极约束）。等式约束相当于空间里一条曲线（曲面或超平面）。点\(\mathbf{X}\) 必须为该曲线（曲面或超曲面）上的一点，因而总是紧约束。有一个独立的等式约束，就可用代入法消去一个变量，使优化问题降低一等。因此，数学模型中独立等式约束个数应小于变量个数；如果相等，就不是一个待定优化系统，而是一个没有优化余地的既定系统。不等式约束通常是以其边界\(g(\mathbf{X})=0\)(或\(g(\mathbf{X})\approx0\))表现出约束作用的，它只限制点\(\mathbf{X}\) 必须落在允许的区域内（包括边界上），因而不等式约束的约束的个数与变量个数无关。不带约束条件的优化问题称为无约束最优化问题；带约束条件的优化问题称为约束最优化问题；
4.带约束条件的优化问题数学模型

​        综上所述，本系列笔记要讨论的问题是如下的（静态）最优化问题，其表示形式如下有三种：

\[\begin{aligned}&\min_{[x_1,x_2,x_3,\cdots,x_n]^T\in\Omega}f(x_1,x_2,\cdots,x_n)\\&s.t\begin{cases}g_i(x_1,x_2,\cdots,x_n)\geq{0},i=1,2,\cdots,l\\ h_j(x_1,x_2,\cdots,x_n)=0,j=1,2,\cdots,m,(m