1. Jacobian matrix

1.1 定义

如果函数 f:RnRm \boldsymbol{f}: \mathbb{R}^n \rightarrow \mathbb{R}^m 在点 x\boldsymbol{x} 可微,则在点 x\boldsymbol{x} 的 Jacobian 矩阵(雅可比矩阵)即为该函数在该点的最佳线性逼近,也被称为向量值多变数函数 f\boldsymbol{f} 在点 x\boldsymbol{x} 处的微分或导数。

J=[fx1fxn]=[f1x1f1xnfmx1fmxn]\begin{array}{c} \boldsymbol{J} = \left[ \frac{\partial\boldsymbol{f}}{\partial x_1} \cdots \frac{\partial\boldsymbol{f}}{\partial x_n} \right] = \left[ \begin{matrix} \frac{\partial f_1}{\partial x_1} & \cdots & \frac{\partial f_1}{\partial x_n} \\ \vdots & \ddots & \vdots \\ \frac{\partial f_m}{\partial x_1} & \cdots & \frac{\partial f_m}{\partial x_n} \end{matrix} \right] \end{array}

2. Hessian matrix

Hessian 矩阵(黑塞矩阵)是一个由多变量实值函数的所有二阶偏导数组成的方块矩阵。

2.1 定义

假设实值函数 f(x1,,xn)f(x_1,\cdots,x_n) 的所有二阶偏导数都存在并在定义域内连续,那么函数 ff 的 Hessian 矩阵为

H=[2fx122fx1xn2fxnx12fxn2]\begin{array}{c} \boldsymbol{H} = \left[ \begin{matrix} \frac{\partial^2 f}{\partial x_1^2} & \cdots & \frac{\partial^2 f}{\partial x_1 \partial x_n} \\ \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n \partial x_1} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{matrix} \right] \end{array}

记作 H=2f \boldsymbol{H} = \nabla^2 f

2.2 性质

  • 若函数有 nn 次连续性,则函数的 Hessian 矩阵是对称方阵。

  • 函数 ff 的 Hessian 矩阵和 Jacobian 矩阵有如下关系:

    H(f)=J(fT)\begin{array}{c} \boldsymbol{H}(f) = \boldsymbol{J}(\nabla f^T) \end{array}

    即函数的 Hessian 矩阵等于其梯度的 Jacobian 矩阵。

附录