矩阵的导数与迹

https://www.cnblogs.com/crackpotisback/p/5545708.html

对于一个将 $m \times n$

的矩阵映射为实数的函数 $f : R^{m \times n} \mapsto R$

▽ A f (A) = ⎡ ⎣ ⎢ ⎢ ⎢ ⎢ ⎢

$f : R^{m \times n} \mapsto R$

就是我们下面要介绍的迹。

对于一个 $n$

$f : R^{m \times n} \mapsto R$

t r A = \sum i = 1 n A i i

这个看起来有点麻烦，下面验证一下，设方阵 $A$

$f : R^{m \times n} \mapsto R$

A = [a c b d]

$f : R^{m \times n} \mapsto R$

B = [e g f h]

$f : R^{m \times n} \mapsto R$

A B = [a e + b g c e + d g a f + b h

$f : R^{m \times n} \mapsto R$

t r A B = a e + b g + c f + d h

$f : R^{m \times n} \mapsto R$

▽ A t r A B = [e f g h

一个在后面用到的等式

▽ A T t r A B A T C = B T

推导过程如下：

由 $▽_{A^{T}} f (A) = (▽_{A} f (A))^{T}$

$f : R^{m \times n} \mapsto R$

▽ A T t r A B A T C = (▽ A

$f : R^{m \times n} \mapsto R$

(C A B + C T A B T) T = B T

Andrew ng在cs229-notes1中给出了一些公式，貌似还是有些东西并没有很明显的提出来，像我这种渣渣就有点晕。首先是给出的 $J (θ)$

$f : R^{m \times n} \mapsto R$

J (θ) = 1 2 \sum i = 1 m ( h θ (

$f : R^{m \times n} \mapsto R$

▽ θ J (θ) = ▽ θ 1 2 ( X θ -

$f : R^{m \times n} \mapsto R$

▽ θ J (θ) = 1 2 ▽ θ ( θ

$f : R^{m \times n} \mapsto R$

▽ θ J (θ) = 1 2 ▽ θ t r (

$f : R^{m \times n} \mapsto R$

▽ θ J (θ) = 1 2 ▽ θ ( t r

$f : R^{m \times n} \mapsto R$

\partial X T A X \partial X = ( A +

$f : R^{m \times n} \mapsto R$

∴

$f : R^{m \times n} \mapsto R$

θ = (X T X) - 1 X T