凸优化数学基础笔记（三）：方向导数、梯度向量

1.方向导数及曲线弧线导数

​       所谓方向导数的概念是作为偏导数的概念的前瞻数学概念而引入的，是矩阵微分的重要概念，其主要研究多元函数在变量空间沿任意方向的变化率。
​       Definition 1 设\(f:\mathbf{R}^n\rightarrow\mathbf{R}\) 在点\(\mathbf{X}_0\)处可微，\(\mathbf{P}\) 是固定不变的非零向量，\(\mathbf{e}\) 是方向\(\mathbf{P}\) 上的单位向量，则称极限

\[\frac{\part{f(\mathbf{X_0})}}{\part{\mathbf{P}}}=\lim_{t\rightarrow{0}^{+}}\frac{f(\mathbf{X}_0+t\mathbf{e})-f(\mathbf{X}_0)}{t} \tag{1}\]
为函数\(f(\mathbf{X}_0)\) 在点\(\mathbf{X}_0\) 处沿\(\mathbf{P}\) 方向的方向导数，式中\(\frac{\part{f(\mathbf{X_0})}}{\part{\mathbf{P}}}\) 是其简单记。
​       Definition 2  设\(f:\mathbf{R}^{n}\rightarrow\mathbf{R}\) 是连续函数，\(\mathbf{X}_0\)，\(\mathbf{P}\in\mathbf{R}^n\)，且\(\mathbf{P}\neq{\mathbf{0}}\)，若有存在\(\delta>0\)。当\(t\in(0,\delta)\) 时都有\(f(\mathbf{X_0}+t\mathbf{P})f(\mathbf{X}_0)\) ，则称\(\mathbf{P}\)为\(f\) 在点\(\mathbf{X}_0\)处的上升方向。
​       由此以上的两个定义可立刻得到如下的结论：

• 若\(\frac{\part{f(\mathbf{X}_0)}}{\part{\mathbf{P}}}0\)，则多元函数\(f(\mathbf{X})\) 从\(\mathbf{X}_0\) 出发在\(\mathbf{X}_0\) 附近沿\(\mathbf{P}\) 方向是上升的；
  

​      事实上，若\(\frac{\part{f(\mathbf{X}_0)}}{\part{\mathbf{P}}}0\) ,必有如下的充分小，根据上式Definition必有如下表达：

\[\frac{f(\mathbf{X}_0+t\mathbf{e})-f(\mathbf{X}_0)}{t}