矩阵求导学习资源

在线工具

• Matrix Calculus - 在线矩阵求导计算器

参考文章

• 知乎：矩阵求导（一）
• 知乎：矩阵求导（二）

常用公式速查

基本规则

类型	公式
$\frac{\partial \mathbf{a}^T\mathbf{x}}{\partial \mathbf{x}}$	$\mathbf{a}$
$\frac{\partial \mathbf{x}^T\mathbf{a}}{\partial \mathbf{x}}$	$\mathbf{a}$
$\frac{\partial \mathbf{x}^T\mathbf{A}\mathbf{x}}{\partial \mathbf{x}}$	$(\mathbf{A} + \mathbf{A}^T)\mathbf{x}$
$\frac{\partial \mathbf{a}^T\mathbf{A}\mathbf{b}}{\partial \mathbf{A}}$	$\mathbf{a}\mathbf{b}^T$

分子布局 vs 分母布局

• 分子布局 (Numerator layout): 结果的形状与分子相同
• 分母布局 (Denominator layout): 结果的形状与分母相同

深度学习中通常使用分母布局。