矩阵微积分中的恒等式、雅可比矩阵与海森矩阵
1. 矩阵微积分恒等式
矩阵微积分涉及标量、向量、矩阵及其函数,这些函数本身可返回标量、向量或矩阵,因此存在许多恒等式和关系。下面将介绍不同类型的矩阵导数恒等式。
1.1 标量函数对向量求导
设 (f) 和 (g) 是向量 (x) 的函数且返回标量,(a) 是不依赖于 (x) 的常量向量,(\alpha) 表示标量常量。
- 基本规则 :与普通微分中的标量乘法和偏导数的线性性质类似。
- 乘积法则 :
- 若 (y = f(x)g(x)),则 (\frac{\partial y}{\partial x}=f(x)\frac{\partial g}{\partial x}+g(x)\frac{\partial f}{\partial x})。这里导数 (\frac{\partial f}{\partial x}) 和 (\frac{\partial g}{\partial x}) 是行向量,结果也是行向量。
- 链式法则 :若 (f(g)) 返回标量且接受标量参数,(g(x)) 返回标量且接受向量参数,则 (\frac{\partial f}{\partial x}=\frac{df}{dg}\frac{\partial g}{\partial x}),最终结果是行向量。
- 示例 :设 (x = [x_0, x_1, x_2]^T),(g(x) = x_0 + x_1x_2),(f(g) = g^2)。
- 根据链式法则 (