梯度，也即该物理参数的变化率，导数

梯度，也即该物理参数的变化率。

在单变量的实值函数的情况，梯度只是导数，或者，对于一个线性函数，也就是线的斜率。

形式化定义[编辑]

一个标量函数 $varphi$ 的梯度记为：

$abla varphi$ 或 $operatorname{grad} varphi$

其中 $abla$ （nabla）表示向量微分算子。

$abla varphi$ 在三维直角坐标中表示为

$abla varphi =egin{pmatrix} {frac{partial varphi}{partial x}}, {frac{partial varphi}{partial y}}, {frac{partial varphi}{partial z}} end{pmatrix}$

（参看偏导数和向量。）

实标量函数的梯度^{[来源请求]}[编辑]

相对于n×1向量x的梯度算子记作 $abla_{oldsymbol{x}}$ ，定义为

$abla_{oldsymbol{x}} overset{underset{mathrm{def}}{}}{=} left[ frac{partial }{partial x_1}, frac{partial }{partial x_2},cdots,frac{partial }{partial x_n} ight]^T=frac{partial }{partial oldsymbol{x}}$

对向量的梯度[编辑]

以n×1实向量x为变元的实标量函数f(x)相对于x的梯度为一n×1列向量x，定义为

$abla_{oldsymbol{x}} f(oldsymbol{x}) overset{underset{mathrm{def}}{}}{=} left[ frac{partial f(oldsymbol{x}) }{partial x_1}, frac{partial f(oldsymbol{x})}{partial x_2},cdots,frac{partial f(oldsymbol{x})}{partial x_n} ight]^T=frac{partial f(oldsymbol{x})}{partial oldsymbol{x}}$

m维行向量函数 $oldsymbol{f}(oldsymbol{x})=[f_1(oldsymbol{x}),f_2(oldsymbol{x}),cdots,f_m(oldsymbol{x})]$ 相对于n维实向量x的梯度为一n×m矩阵，定义为

$abla_{oldsymbol{x}} f(oldsymbol{x}) overset{underset{mathrm{def}}{}}{=} egin{bmatrix} frac{partial f_1(oldsymbol{x})}{partial x_1} &frac{partial f_2(oldsymbol{x})}{partial x_1} & cdots & frac{partial f_m(oldsymbol{x})}{partial x_1} \ frac{partial f_1(oldsymbol{x})}{partial x_2} &frac{partial f_2(oldsymbol{x})}{partial x_2} & cdots & frac{partial f_m(oldsymbol{x})}{partial x_2} \ vdots &vdots & ddots & vdots \ frac{partial f_1(oldsymbol{x})}{partial x_n} &frac{partial f_2(oldsymbol{x})}{partial x_n} & cdots &frac{partial f_m(mathbf{x})}{partial x_n} \ end{bmatrix}=frac{partial oldsymbol{f}(oldsymbol{x})}{partial oldsymbol{x}}$

对矩阵的梯度[编辑]

实标量函数 $oldsymbol{f}(oldsymbol{A})$ 相对于m×n实矩阵A的梯度为一m×n矩阵，简称梯度矩阵，定义为

$abla_{oldsymbol{A}} oldsymbol f(oldsymbol{A}) overset{underset{mathrm{def}}{}}{=} egin{bmatrix} frac{partial f(oldsymbol{A})}{partial a_{11}} &frac{partial f(oldsymbol{A})}{partial a_{12}} & cdots & frac{partial f(oldsymbol{A})}{partial a_{1n}} \ frac{partial f(oldsymbol{A})}{partial a_{21}} &frac{partial f(oldsymbol{A})}{partial a_{22}} & cdots & frac{partial f(oldsymbol{A})}{partial a_{2n}} \ vdots &vdots & ddots & vdots \ frac{partial f(oldsymbol{A})}{partial a_{m1}} &frac{partial f(oldsymbol{A})}{partial a_{m2}} & cdots &frac{partial f(mathbf{A})}{partial a_{mn}} \ end{bmatrix}=frac{partial oldsymbol{f}(oldsymbol{A})}{partial oldsymbol{A}}$