1. Jacobian matrix

1.1 定义

如果函数 f:Rn→Rm \boldsymbol{f}: \mathbb{R}^n \rightarrow \mathbb{R}^m 在点 x\boldsymbol{x} 可微，则在点 x\boldsymbol{x} 的 Jacobian 矩阵（雅可比矩阵）即为该函数在该点的最佳线性逼近，也被称为向量值多变数函数 f\boldsymbol{f} 在点 x\boldsymbol{x} 处的微分或导数。

J=[∂f∂x1⋯∂f∂xn]=[∂f1∂x1⋯∂f1∂xn⋮⋱⋮∂fm∂x1⋯∂fm∂xn]\begin{array}{c} \boldsymbol{J} = \left[ \frac{\partial\boldsymbol{f}}{\partial x_1} \cdots \frac{\partial\boldsymbol{f}}{\partial x_n} \right] = \left[ \begin{matrix} \frac{\partial f_1}{\partial x_1} & \cdots & \frac{\partial f_1}{\partial x_n} \\ \vdots & \ddots & \vdots \\ \frac{\partial f_m}{\partial x_1} & \cdots & \frac{\partial f_m}{\partial x_n} \end{matrix} \right] \end{array}

2. Hessian matrix

Hessian 矩阵（黑塞矩阵）是一个由多变量实值函数的所有二阶偏导数组成的方块矩阵。

2.1 定义

假设实值函数 f(x1,⋯ ,xn)f(x_1,\cdots,x_n) 的所有二阶偏导数都存在并在定义域内连续，那么函数 ff 的 Hessian 矩阵为

H=[∂2f∂x12⋯∂2f∂x1∂xn⋮⋱⋮∂2f∂xn∂x1⋯∂2f∂xn2]\begin{array}{c} \boldsymbol{H} = \left[ \begin{matrix} \frac{\partial^2 f}{\partial x_1^2} & \cdots & \frac{\partial^2 f}{\partial x_1 \partial x_n} \\ \vdots & \ddots & \vdots \\ \frac{\partial^2 f}{\partial x_n \partial x_1} & \cdots & \frac{\partial^2 f}{\partial x_n^2} \end{matrix} \right] \end{array}

记作 H=∇2f \boldsymbol{H} = \nabla^2 f

2.2 性质

  • 若函数有 nn 次连续性，则函数的 Hessian 矩阵是对称方阵。

  • 函数 ff 的 Hessian 矩阵和 Jacobian 矩阵有如下关系：

    H(f)=J(∇fT)\begin{array}{c} \boldsymbol{H}(f) = \boldsymbol{J}(\nabla f^T) \end{array}

    即函数的 Hessian 矩阵等于其梯度的 Jacobian 矩阵。

附录