矩阵求导

向量变元的实值标量函数

　　　　$f(oldsymbol{x}), oldsymbol{x}=left[x_{1}, x_{2}, cdots, x_{n} ight]^{T}$

　　梯度向量形式

　　　　$ abla_{x} f(oldsymbol{x})=frac{partial f(oldsymbol{x})}{partial oldsymbol{x}}=left[frac{partial f}{partial x_{1}}, frac{partial f}{partial x_{2}}, cdots, frac{partial f}{partial x_{n}} ight]^{T}$

---

四个法则

常数求导

　　与一元函数常数求导相同：结果为零向量

　　　　$frac{partial c}{partial oldsymbol{x}}=mathbf{0}_{n imes 1}$

　　其中， $c$ 为常数。

线性法则

　　与一元函数求导线性法则相同：相加再求导等于求导再相加，常数提外面

　　　　$frac{partialleft[c_{1} f(oldsymbol{x})+c_{2} g(oldsymbol{x}) ight]}{partial oldsymbol{x}}=c_{1} frac{partial f(oldsymbol{x})}{partial oldsymbol{x}}+c_{2} frac{partial g(oldsymbol{x})}{partial oldsymbol{x}}$

　　其中,$c_{1}, c_{2}$ 为常数。

乘积法则

　　与一元函数求导乘积法则相同：前导后不导 加 前不导后导

 　　　　$frac{partial[f(oldsymbol{x}) g(oldsymbol{x})]}{partial oldsymbol{x}}=frac{partial f(oldsymbol{x})}{partial oldsymbol{x}} g(oldsymbol{x})+f(oldsymbol{x}) frac{partial g(oldsymbol{x})}{partial oldsymbol{x}}$

商法则

　　与一元函数求导商法则相同：（上导下不导 减 上不导下导）除以（下的平方）：

　　　　$frac{partialleft[frac{f(oldsymbol{x})}{g(oldsymbol{x})} ight]}{partial oldsymbol{x}}=frac{1}{g^{2}(oldsymbol{x})}left[frac{partial f(oldsymbol{x})}{partial oldsymbol{x}} g(oldsymbol{x})-f(oldsymbol{x}) frac{partial g(oldsymbol{x})}{partial oldsymbol{x}} ight]$

　　$ ext { 其中, } g(oldsymbol{x}) eq 0 ext { 。 }$

---

几个公式

公式 1 

　　　　$frac{partialleft(oldsymbol{x}^{T} oldsymbol{a} ight)}{partial oldsymbol{x}}=frac{partialleft(oldsymbol{a}^{T} oldsymbol{x} ight)}{partial oldsymbol{x}}=oldsymbol{a}$

　　其中， $oldsymbol{a} $ 为常数向量， $oldsymbol{a}=left(a_{1}, a_{2}, cdots, a_{n} ight)^{T}$  。

公式 2 

　　　　$frac{partialleft(oldsymbol{x}^{T} oldsymbol{x} ight)}{partial oldsymbol{x}}=2 oldsymbol{x}$

公式 3 

　　　　$frac{partialleft(oldsymbol{x}^{T} oldsymbol{A} oldsymbol{x} ight)}{partial oldsymbol{x}}=oldsymbol{A} x+oldsymbol{A}^{T} oldsymbol{x}$

　　其中，$oldsymbol{A}_{n imes n}$  是常数矩阵，$oldsymbol{A}_{n imes n}=left(a_{i j} ight)_{i=1, j=1}^{n, n}$

公式 4 

　　　　$frac{partialleft(oldsymbol{a}^{T} oldsymbol{x} oldsymbol{x}^{T} oldsymbol{b} ight)}{partial oldsymbol{x}}=oldsymbol{a} oldsymbol{b}^{T} oldsymbol{x}+oldsymbol{b} oldsymbol{a}^{T} oldsymbol{x}$

　　其中，$  oldsymbol{a}, oldsymbol{b}$  为常数向量，$  oldsymbol{a}=left(a_{1}, a_{2}, cdots, a_{n} ight)^{T}, oldsymbol{b}=left(b_{1}, b_{2}, cdots, b_{n} ight)^{T}$