几个基本数学概念

线性近似（linear approximation）：又称线性逼近，在数学中，线性近似是指使用线性函数对一般函数进行近似处理的方法。线性近似就是用线性函数对普通函数进行近似。这个线性函数称为仿射函数。梯度向量（gradient vector）：一个标量函数的偏导数矩阵，$f:{\mathbf{R}}^n\to \mathbf{R}(confused?)$，是一个$1\times n$行矩阵： $$Df(\mathbf{x})=\left[\begin{array}{c}\frac{\partial f}{\partial x1}(\mathrm{x})\frac{\partial f}{\partial x2}(\mathrm{x})\frac{\partial f}{\partial x3}(\mathrm{x})\cdot \cdot \cdot \frac{\partial f}{\partial xn}(\mathrm{x})\end{array}\right]$$ 通常我们不能将一个一行的矩阵看作一个向量，但是在这里我们还是将它看作一个向量，便于后面处理 $$\nabla f(\mathbf{x})=\left(\begin{array}{c}\frac{\partial f}{\partial x1}(\mathrm{x})\frac{\partial f}{\partial x2}(\mathrm{x})\frac{\partial f}{\partial x3}(\mathrm{x})\cdot \cdot \cdot \frac{\partial f}{\partial xn}(\mathrm{x})\end{array}\right)$$

方向导数、方向向量和梯度的关系推导

在上文中展示了方向导数背后的概念。要点是，给定一个多变量的标量值函数$f:{\mathbf{R}}^n\to \mathbf{R}(confused?)$

方向导数$D_{u}f$是在任意给定单位向量$\mathbf{u}$f斜率的偏微分统一形式。梯度$\nabla f$是最大向上斜率对应方向上的一个向量，并且它的长度方向导数在这个方向上的长度方向导数是梯度和单位向量点乘结果：$D_{u}f=\nabla f\cdot \mathbf{u}$

这个介绍缺少一个重要的信息：梯度的切确含义是什么？怎样从f计算出它？实际上计算梯度还是相当简单的，当然你得知道一个函数可导意味着什么。

在点$\mathbf{x}=\mathbf{a}$一个函数$f(\mathbf{x})$可导意味着什么？这个函数在一个极小区间基本上线性得，这是微积分得基本概念，比如这里必须可以线性逼近。 $$L(\mathbf{x})=f(\mathbf{a})+Df(\mathbf{a})(\mathbf{x}-\mathbf{a})$$ 对于所有靠近$\mathbf{a}$得$\mathbf{x}$，这个值与$f(\mathbf{x})$非常近似。可导的定义意味着，对所有从$\mathbf{a}$出发的方向，$f(\mathbf{x})$和$L(\mathbf{x})$有相同的斜率。这样我们就可以用$L$来代替$f$来计算在$\mathbf{x}$点上f的方向导数。

使用方向导数的定义，我们能计算沿着$\mathbf{u}$方向，在$\mathbf{a}$点$f$的方向导数： $$\begin{array}{rl}{D}_{u}f(\mathbf{a})& =D_{u}L(\mathbf{a})=\underset{h\to 0}{\lim }\frac{L(\mathbf{a}+h\mathbf{u})-L(\mathbf{a})}{h}\\ & =\underset{h\to 0}{\lim }\frac{f(\mathbf{a})+Df(\mathbf{a})(\mathbf{a}+h\mathbf{u}-\mathbf{a})-(f(\mathbf{a})+Df(\mathbf{a})(\mathbf{a}-\mathbf{a}))}{h}\\ & =\underset{h\to 0}{\lim }\frac{Df(\mathbf{a})(h\mathbf{u})}{h}=\underset{h\to 0}{\lim }Df(\mathbf{a})\mathbf{u}=Df(\mathbf{a})u\end{array}$$ 因为$Df(\mathbf{x})$是一个$1\times n$的行向量，并且u是一个$n\times 1$的列向量，它们相乘将会得到一个标量。我们也可以重写这个公式，把它表示两个向量的点乘形式。把$1\times n$偏导数矩阵写成一个向量，并将其记录为$\nabla f$，并将其称为梯度。我们可以得到方向导数： $$D_{u}f(\mathbf{a})=\nabla f(\mathbf{a})\cdot \mathbf{u}$$