矩阵基本概念

1. 术语

概念/符号	含义
方阵	行数和列数相同的矩阵
长方矩阵	函数和列数可能不相同的矩阵
$\mathbb{C}$	复数域
$\mathbb{R}$	实数域
$\mathbb{S}^n$	$n$ 阶对称阵全集
$\mathrm{diag}(d_1,\cdots,d_n)$	表示对角元素为 $d_1,\cdots,d_n$ 的对角矩阵
$\odot$	Hadamard 积

设 $A = (a_{ij}) \in \mathbb{C}^{m \times n}$ ， $a_{ij}$ 是矩阵 $A$ 的元素，则：

$A^\top$ ：表示 $A$ 的转置。
$\overline{A}$ ：表示 $A$ 的共轭。
$A^*$ ：表示 $A$ 的共轭转置，即 $A^* = (\overline{A})^\top$ 。

2. 矩阵

2.1 定义

设 $A \in \mathbb{C}^{n \times n}$ ：

若 $A^* A = A A^*$ ，则称 $A$ 为正规矩阵。
若 $A = A^*$ ，则称 $A$ 为 Hermite 矩阵；若 $A = -A^*$ ，则称 $A$ 为反 Hermite 矩阵。
若 $A^* A = I$ ，则称 $A$ 为酋矩阵。

2.2 性质

Hermite 矩阵，反 Hermite 矩阵，酋矩阵都是正规矩阵。
实 Hermite 矩阵就是实对称矩阵，实酋矩阵就是实正交矩阵。

一个方阵的全体特征值的集合称为该方阵的谱。

3. 行列式

3.1 定义

方阵的行列式记作 $\mathrm{det}(A)$ 或 $|A|$ ，其定义如下：

$\mathrm{det}(A) = \sum_{\sigma \in S_n} \left( \mathrm{sgn}(\sigma) \prod_{i=1}^n a_{i,\sigma_i} \right)$

其中， $S_n$ 是元素 $1 \sim n$ 的置换群， $\mathrm{sgn}$ 为 sign 函数。

置换 $\sigma$ 的 sign 函数只返回两个值： $+1$ 如果置换 $\sigma$ 是偶的， $-1$ 如果置换 $\sigma$ 是奇的。

逆序数为奇数的置换叫做奇置换，逆序数为偶数的置换叫做偶置换。

3.2 性质

3.2.1 基本性质

$\mathrm{det}(cA) = c^n \mathrm{det}(A)$
$\mathrm{det}(A^\top) = \mathrm{det}(A)$
若 $A, B$ 均为方阵，则有： $\mathrm{det}(AB) = \mathrm{det}(A) \mathrm{det}(B)$
若方阵 $A$ 可逆，则有： $\mathrm{det}(A^{-1}) = (\mathrm{det}(A))^{-1}$
$\mathrm{det}(A) = \sum_{i=1}^n (-1)^{i+j} a_{ij} M_{ij}$ ，其中 $a_j$ 是选择展开的列， $M_{ij}$ 是对应的余子式，一般记 $C_{ij} = (-1)^{i+j} M_{ij}$ 为代数余子式，则有： $\mathrm{det}(A) = \sum_{i=1}^n a_{ij} C_{ij}$

记 $A$ 的伴随矩阵为 $\mathrm{adj}(A)$ ，其定义为： $(\mathrm{adj}(A))_{ij} = (-1)^{i+j} M_{ji}$ 。

若方阵 $A$ 可逆，则有： $A^{-1} = \frac{1}{\mathrm{det}(A)} \mathrm{adj}(A)$
$\mathrm{det}(A) = \prod_{i=1}^n \lambda_i$ ，其中所有的 $\lambda_i$ 为方阵 $A$ 的特征值

3.2.2 舒尔补

若方阵 $X \in \mathbb{S}^n$ ，将其使用分块矩阵表达如下：

$X = \left[ \begin{matrix} A & B \\ B^\top & C \end{matrix} \right]$

其中， $A \in \mathbb{S}^k$ 。若 $\mathrm{det}(A) \neq 0$ ，则称矩阵

$S = C - B^\top A^{-1} B$

为 $A$ 在 $X$ 中的舒尔补。舒尔补具有如下性质：

$\mathrm{det}(X) = \mathrm{det}(A) \mathrm{det}(S)$
$X$ 正定当且仅当 $A$ 正定且 $S$ 正定
若 $A$ 正定，则 $X$ 半正定当且仅当 $S$ 半正定。

3.2.3 上下界

$\mathrm{tr}(I - A^{-1}) \leq \log{\mathrm{det}(A)} \leq \mathrm{tr}(A - I)$
$\frac{n}{\mathrm{tr}(A^{-1})} \leq \mathrm{det}(A)^{\frac{1}{n}} \leq \frac{1}{n} \mathrm{tr}(A) \leq \sqrt{\frac{1}{n} \mathrm{tr}(A^2)}$

4. 迹

4.1 定义

方阵 $A$ 的迹记作 $\operatorname{tr}(A)$ ，其定义如下：

$\operatorname{tr}(A) = \sum_{i} A_{ii}$

4.2 性质

4.2.1 基本性质

$\operatorname{tr}(cA) = c\operatorname{tr}(A)$
$\operatorname{tr}(A + B) = \operatorname{tr}(A) + \operatorname{tr}(B)$
$\operatorname{tr}(A) = \operatorname{tr}(A^\top)$

4.2.2 乘积的迹

设 $A, B \in \mathbb{R}^{m \times n}$ ，则有：

$\mathrm{tr}(A^\top B) = \mathrm{tr}(AB^\top) = \mathrm{tr}(B^\top A) = \mathrm{tr}(BA^\top) = \sum_{i}^m \sum_{j}^n a_{ij} b_{ij}$

若 $m = n$ ，即 $A$ 和 $B$ 均为方阵，则进一步有：

$\mathrm{tr}(A^\top B) = \mathrm{tr}(AB^\top) = \mathrm{tr}(B^\top A) = \mathrm{tr}(BA^\top) = \sum_{i}^m \sum_{j}^n a_{ij} b_{ij} = \sum_{ij} (A \odot B)_{ij}$