下文和标量域 K\mathbb{K} 是指实数域 R\mathbb{R} 或复数域 C\mathbb{C}。

空间 说明
向量空间 定义了向量的加法和数乘，以向量为元素的集合 Rn\mathbb{R}^n 或 Cn\mathbb{C}^n。
内积空间 定义了内积 <x,y><\boldsymbol{x}, \boldsymbol{y}> 的向量空间。
赋范空间 定义了范数 ∥x∥\lVert \boldsymbol{x} \rVert 的向量空间，可度量向量的长度、距离与邻域。
Banach 空间 Cauchy 序列满足 lim⁡n→∞vn→v\lim_{n \rightarrow \infty} \boldsymbol{v}_n \rightarrow \boldsymbol{v}，∀vn,v∈Cn\forall \boldsymbol{v}_n, \boldsymbol{v} \in \mathbb{C}^n 的完备赋范空间。
Hilbert 空间 Cauchy 序列满足 lim⁡n→∞∥vn∥→∥v∥,∀vn,v∈Cn\lim_{n \rightarrow \infty} \lVert \boldsymbol{v}_n \rVert \rightarrow \lVert \boldsymbol{v} \rVert, \forall \boldsymbol{v}_n, \boldsymbol{v} \in \mathbb{C}^n 的完备赋范空间。
Euclidean 空间 具有 Euclidean 范数 ∥x∥2\lVert \boldsymbol{x} \rVert_2 的赋范空间。

1. 向量空间（线性空间）

1.1 定义

1.1.1 向量空间

对于以向量为元素的集合 V\boldsymbol{V}，若对于向量集合 V\boldsymbol{V} 中的向量 x,y,w\boldsymbol{x},\boldsymbol{y},\boldsymbol{w} 和标量域 K\mathbb{K} 中的标量 a,ba,b，以下两个闭合性和关于加法及乘法的 88 个定律均满足时，则称 VV 为向量空间或线性空间：

  • 闭合性

    1. 若 x,y∈V\boldsymbol{x},\boldsymbol{y} \in \boldsymbol{V}，则 x+y∈V\boldsymbol{x} + \boldsymbol{y} \in \boldsymbol{V}，即 V\boldsymbol{V} 在加法下闭合，简称为加法的闭合性。
    2. 若 a∈Ka \in \mathbb{K}，y∈V\boldsymbol{y} \in \boldsymbol{V}，则 ay∈Va \boldsymbol{y} \in \boldsymbol{V}，即 V\boldsymbol{V} 在标量乘法下是闭合的，简称标量乘法的闭合性。

  • 加法的公理

    1. x+y=y+x\boldsymbol{x} + \boldsymbol{y} = \boldsymbol{y} + \boldsymbol{x}，称为加法交换律。
    2. x+(y+z)=(x+y)+z\boldsymbol{x} + (\boldsymbol{y} + \boldsymbol{z}) = (\boldsymbol{x} + \boldsymbol{y}) + \boldsymbol{z}，称为加法的结合律。
    3. V\boldsymbol{V} 存在零向量 00，使得 ∀y∈V\forall \boldsymbol{y} \in \boldsymbol{V}，恒有 y+0=y\boldsymbol{y} + \boldsymbol{0} = \boldsymbol{y}，称为零向量的存在性。
    4. ∀y∈V,∃−y∈V\forall \boldsymbol{y} \in \boldsymbol{V}, \exists -\boldsymbol{y} \in \boldsymbol{V}，使得 y+(−y)=(−y)+y=0 \boldsymbol{y} + (-\boldsymbol{y}) = (-\boldsymbol{y}) + \boldsymbol{y} = \boldsymbol{0} ，称为负向量的存在性。

  • 标量乘法的公理

    1. a(by)=(ab)ya(b\boldsymbol{y}) = (ab)\boldsymbol{y} 对所有向量 y\boldsymbol{y} 和所有标量 a,ba,b 成立，称为标量乘法结合律。
    2. a(x+y)=ax+bya(\boldsymbol{x} + \boldsymbol{y}) = a\boldsymbol{x} + b\boldsymbol{y} 对所有向量 y\boldsymbol{y} 和所有标量 a,ba,b 成立，称为标量乘法分配律。
    3. (a+b)y=ay+by(a+b)\boldsymbol{y} = a\boldsymbol{y} + b\boldsymbol{y} 对所有向量 y\boldsymbol{y} 和所有标量 a,ba,b 成立，称为标量乘法分配律。
    4. 1y=y1\boldsymbol{y} = \boldsymbol{y} 对所有 y\boldsymbol{y} 成立，称为标量乘法单位律。

1.1.2 向量子空间

令 V\boldsymbol{V} 和 W\boldsymbol{W} 是两个向量空间，若 W\boldsymbol{W} 是 V\boldsymbol{V} 中一个非空子集合，则称子集合 W\boldsymbol{W} 是 V\boldsymbol{V} 的一个子空间。

  • 若 A\boldsymbol{A} 和 B\boldsymbol{B} 是向量空间 V\boldsymbol{V} 的两个向量子空间，则称

    A+B={x+y∣x∈A,y∈B}\begin{array}{c} \boldsymbol{A} + \boldsymbol{B} = \{\boldsymbol{x} + \boldsymbol{y} | \boldsymbol{x} \in \boldsymbol{A}, \boldsymbol{y} \in \boldsymbol{B}\} \end{array}

    为子空间 A\boldsymbol{A} 和 B\boldsymbol{B} 的和，称

    A∩B={x∈V∣x∈A∧x∈B}\begin{array}{c} \boldsymbol{A} \cap \boldsymbol{B} = \{\boldsymbol{x} \in \boldsymbol{V} | \boldsymbol{x} \in \boldsymbol{A} \wedge \boldsymbol{x} \in \boldsymbol{B}\} \end{array}

    为子空间 A\boldsymbol{A} 和 B\boldsymbol{B} 的交。

  • 若 A\boldsymbol{A} 和 B\boldsymbol{B} 是向量空间 V\boldsymbol{V} 的两个向量子空间，并满足

    V=A+BA∩B={0}\begin{array}{c} \boldsymbol{V} = \boldsymbol{A} + \boldsymbol{B} \\ \boldsymbol{A} \cap \boldsymbol{B} = \{\boldsymbol{0}\} \end{array}

    则称 V\boldsymbol{V} 是子空间 A\boldsymbol{A} 和 B\boldsymbol{B} 的直接求和，简称直和，记为 V=A⊕B\boldsymbol{V} = \boldsymbol{A} \oplus \boldsymbol{B} 。

1.1.3 线性映射（线性变换）

令 V\boldsymbol{V} 和 W\boldsymbol{W} 分别是 Rm\mathbb{R}^m 和 Rn\mathbb{R}^n 的子空间，若映射 T:V↦W \boldsymbol{T}: \boldsymbol{V} \mapsto \boldsymbol{W} 对 v∈V,w∈W \boldsymbol{v} \in \boldsymbol{V}, \boldsymbol{w} \in \boldsymbol{W} 和任意标量 cc 满足叠加性和齐次性，则称 T\boldsymbol{T} 为线性映射或线性变换：

  • 叠加性：T(v+w)=T(v)+T(w) \boldsymbol{T}(\boldsymbol{v} + \boldsymbol{w}) = \boldsymbol{T}(\boldsymbol{v}) + \boldsymbol{T}(\boldsymbol{w})

  • 齐次性：T(cv)=cT(v) \boldsymbol{T}(c\boldsymbol{v}) = c\boldsymbol{T}(\boldsymbol{v})

也可以将叠加性和齐次性合并在一起写成线性关系式：

T(c1v+c2w)=c1T(v)+c2T(w)\begin{array}{c} \boldsymbol{T}(c_1 \boldsymbol{v} + c_2 \boldsymbol{w}) = c_1 \boldsymbol{T}(\boldsymbol{v}) + c_2 \boldsymbol{T}(\boldsymbol{w}) \end{array}

1.2 性质

  • 常见向量空间：Rn,Cn\mathbb{R}^n, \mathbb{C}^n；

  • Rn\mathbb{R}^n 的子集合 W\boldsymbol{W} 是 Rn\mathbb{R}^n 的一个子空间，当且仅当以下三个条件满足：

    1. 若 x,y∈W\boldsymbol{x},\boldsymbol{y} \in \boldsymbol{W}，则 x+y∈W\boldsymbol{x} + \boldsymbol{y} \in \boldsymbol{W}，即满足加法的闭合性。
    2. 若 a∈Sa \in \boldsymbol{S}，y∈W\boldsymbol{y} \in \boldsymbol{W}，则 ay∈Wa \boldsymbol{y} \in \boldsymbol{W}，即满足标量乘法的闭合性。
    3. 满足零向量的存在性。

2. 内积空间

2.1 定义

令 V\boldsymbol{V} 为向量空间，若对所有 x,y,z∈V\boldsymbol{x},\boldsymbol{y},\boldsymbol{z} \in \boldsymbol{V} 和 a,b∈Ka,b \in \mathbb{K}，映射函数 ⟨⋅,⋅⟩:V×V↦K \langle \cdot, \cdot \rangle: \boldsymbol{V} \times \boldsymbol{V} \mapsto \mathbb{K} 满足以下三条性质：

  • 共轭对称性：⟨x,y⟩=⟨y,x⟩∗ \langle \boldsymbol{x}, \boldsymbol{y} \rangle = \langle \boldsymbol{y}, \boldsymbol{x} \rangle^*

  • 第一变元的线性性：⟨ax+by,z⟩=a⟨x,z⟩+b⟨y,z⟩ \langle a\boldsymbol{x} + b\boldsymbol{y}, \boldsymbol{z} \rangle = a \langle \boldsymbol{x}, \boldsymbol{z} \rangle + b \langle \boldsymbol{y}, \boldsymbol{z} \rangle

  • 非负性：⟨x,x⟩≥0 \langle \boldsymbol{x}, \boldsymbol{x} \rangle \geq 0 ，且 ⟨x,x⟩=0⇔x=0 \langle \boldsymbol{x}, \boldsymbol{x} \rangle = 0 \Leftrightarrow \boldsymbol{x} = \boldsymbol{0}

则称 ⟨x,y⟩ \langle \boldsymbol{x}, \boldsymbol{y} \rangle 为向量 x\boldsymbol{x} 与 y\boldsymbol{y} 的内积，V\boldsymbol{V} 为内积空间。满足以上三个性质的实向量空间和复向量空间分别称为实内积向量空间和复内积向量空间。

2.2 性质

  • ∀x∈V,⟨x,x⟩=⟨x,x⟩∗∈R\forall \mathbf{x} \in \mathbf{V}, \langle \mathbf{x},\mathbf{x} \rangle = \langle \mathbf{x},\mathbf{x} \rangle^* \in \mathbb{R}。（共轭对称性）
  • ∀a,b∈K,x,y,z∈V,⟨z,ax+by⟩=a∗⟨z,x⟩+b∗⟨z,y⟩\forall a,b \in \mathbb{K}, \mathbf{x},\mathbf{y},\mathbf{z} \in \mathbf{V}, \langle \mathbf{z}, a\mathbf{x}+b\mathbf{y} \rangle = a^* \langle \mathbf{z},\mathbf{x} \rangle + b^* \langle \mathbf{z},\mathbf{y} \rangle。（第一变元的线性性）

3. 赋范空间

3.1 定义

3.1.1 赋范空间

令 V\boldsymbol{V} 为向量空间，向量 x\boldsymbol{x} 的范数为一实函数 p(x):V↦R p(\boldsymbol{x}): \boldsymbol{V} \mapsto \mathbb{R} ，若对所有向量 x,y∈V \boldsymbol{x},\boldsymbol{y} \in \boldsymbol{V} 和任意一个标量 c∈Kc \in \mathbb{K}，有下面性质成立：

  • 非负性：p(x)≥0 p(\boldsymbol{x}) \geq 0 且 p(x)=0⇔x=0 p(\boldsymbol{x}) = 0 \Leftrightarrow \boldsymbol{x} = \boldsymbol{0}

  • 齐次性：p(cx)=∣c∣⋅p(x) p(c\boldsymbol{x}) = |c| \cdot p(\boldsymbol{x}) 对任意标量 cc 成立。

  • 三角不等式：p(x+y)≤p(x)+p(y) p(\boldsymbol{x} + \boldsymbol{y}) \leq p(\boldsymbol{x}) + p(\boldsymbol{y})

则称 V\boldsymbol{V} 为赋范向量空间。

3.1.2 半范数（伪范数）

若 p(x):V↦R p(\boldsymbol{x}): \boldsymbol{V} \mapsto \mathbb{R} 对所有向量 x,y∈V \boldsymbol{x}, \boldsymbol{y} \in \boldsymbol{V} 和任意一个标量 cc，有以下条件成立：

  • p(x)≥0 p(\boldsymbol{x}) \geq 0

  • p(cx)=∣c∣⋅p(x) p(c\boldsymbol{x}) = |c| \cdot p(\boldsymbol{x})

  • p(x+y)≤p(x)+p(y) p(\boldsymbol{x}+\boldsymbol{y}) \leq p(\boldsymbol{x}) + p(\boldsymbol{y})

则称 p(x):V↦R p(\boldsymbol{x}): \boldsymbol{V} \mapsto \mathbb{R} 为向量 x\boldsymbol{x} 的半范数（也称为伪范数）。

【注】半范数与范数的唯一区别在于：半范数不完全满足范数的非负性条件。

3.1.3 拟范数

若 p(x):V↦R p(\boldsymbol{x}): \boldsymbol{V} \mapsto \mathbb{R} 对所有向量 x,y∈V \boldsymbol{x}, \boldsymbol{y} \in \boldsymbol{V} 和任意一个标量 cc，有以下条件成立：

  • p(x)≥0 p(\boldsymbol{x}) \geq 0 且 p(x)=0⇔x=0 p(\boldsymbol{x}) = 0 \Leftrightarrow \boldsymbol{x} = \boldsymbol{0}

  • p(cx)=∣c∣⋅p(x) p(c\boldsymbol{x}) = |c| \cdot p(\boldsymbol{x})

  • p(x+y)≤C(p(x)+p(y)) p(\boldsymbol{x}+\boldsymbol{y}) \leq C(p(\boldsymbol{x}) + p(\boldsymbol{y})) ，其中 C∈R,C>0∧C≠1 C \in \mathbb{R}, C \gt 0 \wedge C \ne 1 。

则称 p(x):V↦R p(\boldsymbol{x}): \boldsymbol{V} \mapsto \mathbb{R} 为向量 x\boldsymbol{x} 的拟范数。

【注】拟范数和范数的唯一区别在于：拟范数不满足范数的三角不等式。

3.1.4 完备性

  • 令 V\boldsymbol{V} 为向量空间，若对于 V\boldsymbol{V} 中的每一个 Cauchy 序列 {vn}n=1∞⊂V \{\boldsymbol{v}_n\}_{n=1}^{\infty} \subset \boldsymbol{V} ，在向量空间 V\boldsymbol{V} 内都存在一个向量 v\boldsymbol{v}，使得 lim⁡n→∞vn→v \lim_{n \rightarrow \infty} \boldsymbol{v}_n \rightarrow \boldsymbol{v} ，即 V\boldsymbol{V} 中每一个 Cauchy 序列都收敛在向量空间 V\boldsymbol{V} 内，则称向量空间 V\boldsymbol{V} 为完备向量空间。
  • 类似地，令 V\boldsymbol{V} 为赋范向量空间，若对于 V\boldsymbol{V} 中的每一个 Cauchy 序列 {vn}n=1∞⊂V \{\boldsymbol{v}_n\}_{n=1}^{\infty} \subset \boldsymbol{V} ，在赋范向量空间 V\boldsymbol{V} 内都存在一个向量 v\boldsymbol{v}，使得 lim⁡n→∞∥vn∥→∥v∥ \lim_{n \rightarrow \infty} \parallel\boldsymbol{v}_n\parallel \rightarrow \parallel\boldsymbol{v}\parallel ，即 V\boldsymbol{V} 中每一个 Cauchy 序列都收敛在赋范向量空间 V\boldsymbol{V} 内，则称赋范向量空间 V\boldsymbol{V} 为完备赋范向量空间。

4. Banach 空间

4.1 定义

令 V\boldsymbol{V} 为赋范向量空间，若对每一个 Cauchy 序列 {vn}n=1∞⊂V \{\boldsymbol{v}_n\}_{n=1}^{\infty} \subset \boldsymbol{V} ，在 V\boldsymbol{V} 都存在一个向量 v\boldsymbol{v}，使得 lim⁡n→∞vn→v \lim_{n \rightarrow \infty} \boldsymbol{v}_n \rightarrow \boldsymbol{v} ，则称 V\boldsymbol{V} 为 Banach 空间。

5. Hilbert 空间

5.1 定义

一个相对于范数完备的赋范向量空间 V\boldsymbol{V}，即满足范数收敛 lim⁡n→∞∥vn∥→∥v∥\lim_{n \rightarrow \infty} \lVert \boldsymbol{v}_n \rVert \rightarrow \lVert \boldsymbol{v} \rVert，称为 Hilbert 空间。

附录

  • 《矩阵分析与应用（第二版）》by 张贤达