范数 | お前はどこまで見えている

1. 向量范数

1.1 $L_p$ 范数

$L_p$ 范数是向量空间中的一组范数。

1.1.1 定义

$\begin{array}{c} L_p(\vec{x}) = |\vec{x}|_p = (\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}} \end{array}$

其中， $p \geq 1$ ， $\vec{x} = \{x_1,x_2,\cdots,x_n\}$ 。

1.1.2 分类

$\displaystyle p = -\infty: |\vec{x}|_{\infty} = \lim_{p \rightarrow -\infty}(\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}} = \min_i |x_i|$
$\displaystyle p = 1: |\vec{x}|_1 = \sum_{i=1}^n |x_i|$ ，即 $L_1$ 范数是向量各分量绝对值之和，又称为曼哈顿距离。
$\displaystyle p = 2: |\vec{x}|_2 = \sqrt{\sum_{i=1}^n |x_i|^2}$ ， $L_2$ 范数也称为欧式距离。
$\displaystyle p = +\infty: |\vec{x}|_{\infty} = \lim_{p \rightarrow +\infty}(\sum_{i=1}^n |x_i|^p)^{\frac{1}{p}} = \max_i |x_i|$ ， $L_\infty$ 也称为无穷范数或最大范数。

2. 矩阵范数

设域 $K$ 上 $m$ 行 $n$ 列的矩阵空间 $K^{m \times n}$ ，则定义矩阵的范数为函数 $\parallel \cdot \parallel$ ： $K^{m \times n} \rightarrow \mathbb{R}$ ，且 $\forall \alpha \in K$ ， $\forall A,B \in K^{m \times n}$ 满足以下条件：

$\parallel A \parallel \geq 0$ ，且 $\parallel A \parallel = 0 \Leftrightarrow A = 0_{m,n}$ （严格正定性）
$\parallel \alpha A \parallel = |\alpha| \parallel A \parallel$ （线性性）
$\parallel A + B \parallel \leq \parallel A \parallel + \parallel B \parallel$ （三角不等式）

2.1 $L_p$ 范数诱导的矩阵范数

$\begin{array}{c} |A|_p = \max_{x \ne 0} \frac{|Ax|_p}{|x|_p} = \max_{x \ne 0} \frac{(\sum_{i=1}^m |\sum_{j=1}^n a_{ij} x_j|^p)^{\frac{1}{p}}}{(\sum_{j=1}^n |x_j|^p)^{\frac{1}{p}}} \end{array}$

$\displaystyle p = 1: |A|_1 = \max_{1 \leq j \leq n} \sum_{i=1}^m |a_{ij}|$
$\displaystyle p = 2: |A|_2 = \sqrt{\lambda_{\max}(A^*A)}$ ，此时诱导的矩阵范数称为谱范数，即为 $A$ 的最大奇异值，其中 $A^*$ 表示 A 的共轭转置。
$\displaystyle p = \infty : |A|_{\infty} = \max_{1 \leq i \leq m} \sum_{j=1}^n |a_{ij}|$

2.2 Frobenius 范数

矩阵 $A$ 的 Frobenius 范数定义为

$\lVert A \rVert_F = \sqrt{\sum_{i}^m \sum_j^n \lvert a_{ij} \rvert^2} = \sqrt{\mathrm{trace}(A^* A)} = \sqrt{\sum_{i=1}^{\min{\{m,n\}}} \sigma_{i}^2(A)}$