概述 | お前はどこまで見えている

1. 定义

监督学习方法可以为生成方法和判别方法，所学到的模型分别称为生成模型和判别模型。

生成方法由数据学习联合概率分布 $P(X, Y)$ ，然后求出条件概率分布 $P(Y | X)$ 作为预测的模型，即生成模型：

$P(Y | X) = \frac{P(X, Y)}{P(X)}$

生成模型表示了给定输入 $X$ 产生输出 $Y$ 的生成关系。典型的生成模型有朴素贝叶斯法和隐马尔可夫模型。
判别方法由数据直接学习决策函数 $f(X)$ 或者条件概率分布 $P(Y | X)$ 作为预测的模型，即判别模型。判别方法关心的是对给定的输入 $X$ ，应该预测什么样的输出 $Y$ 。典型的判别模型有： $k$ 近邻法、感知机、决策树、逻辑斯谛回归模型、最大熵模型、支持向量机、提升方法和条件随机场等。

监督学习的应用主要在三个方面：分类问题、标注问题和回归问题。

2. 分类问题

分类问题主要包括学习和分类两个过程：

在学习过程中，根据已知的训练数据集利用有效的学习方法学习一个分类器；
在分类过程中，利用学习的分类器对新的输入实例进行分类。

学习系统由训练数据学习一个分类器 $P(Y | X)$ 或 $Y = f(X)$ ，并使用该分类器对新的输入例 $x_{N+1}$ 进行分类预测。

评价分类器性能的指标一般是分类准确度（accuracy），其定义是：对于给定测试数据集，分类器正确分类的样本数与总样本数之比。

对于二类分类问题，常用的评价指标是精确率（precision）与召回率（recall）。通常以关注的类为正类，其他类为负类，分类器在测试数据集上的预测或正确或不正确， $4$ 种情况出现的总数分别记作：

$TP$ ：将正类预测为正类数；

$FN$ ：将正类预测为负类数；

$FP$ ：将负类预测为正类数；

$TN$ ：将负类预测为负类数。

则精确率定义为：

$P = \frac{TP}{TP + FP}$

召回率定义为：

$R = \frac{TP}{TP + FN}$

此外，常用的还有 $F_1$ 值，其为精确率和召回率的调和均值，定义为：

$\frac{2}{F_1} = \frac{1}{P} + \frac{1}{R} \\ F_1 = \frac{2TP}{2TP + FP + FN}$

精确率和召回率都高时， $F_1$ 值也会很高。

3. 标注问题

标注问题的输入是一个观测序列，输出是一个标记序列或状态序列。标注问题的目标在于学习一个模型，使它能够对观测序列给出标记序列作为预测。

训练数据集 $T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}$ ，其中 $x_{i}=(x_{i}^{(1)}, x_{i}^{(2)}, \cdots, x_{i}^{(n)})^{\top}, i=1,2, \cdots, N$ 是输入序列， $y_{i}=(y_{i}^{(1)}, y_{i}^{(2)}, \cdots, y_{i}^{(n)})^{\top}$ 是相应的输出序列， $n$ 是序列长度，一般 $n \ll N$ 。

学习系统基于构建一个模型，表示为条件概率分布：

$P\left(Y^{(1)}, Y^{(2)}, \cdots, Y^{(n)} \mid X^{(1)}, X^{(2)}, \cdots, X^{(n)}\right)$

并对新的输入序列 $x_{N+1}=(x_{N+1}^{(1)}, x_{N+1}^{(2)}, \cdots, x_{N+1}^{(n)})^{\top}$ 给出使条件概率 $P\left((y_{N+1}^{(1)}, y_{N+1}^{(2)}, \cdots, y_{N+1}^{(n)})^\top | (x_{N+1}^{(1)}, x_{N+1}^{(2)}, \cdots, x_{N+1}^{(n)})^\top\right)$ 最大的标记序列 $y_{N+1} = (y_{N+1}^{(1)}, y_{N+1}^{(2)}, \cdots, y_{N+1}^{(n)})^\top$ 作为预测。

评价标注模型的指标与评价分类模型的指标一样。

4. 回归问题

回归用于预测输入变量要（自变量）和输出变量（因变量）之间的关系。回归模型是表示输入变量到输出变量之间映射的函数。回归问题的学习等价于函数拟合：选择一条函数曲线使其很好地拟合已知数据且很好地预测未知数据。

训练数据集 $T=\left\{\left(x_{1}, y_{1}\right),\left(x_{2}, y_{2}\right), \cdots,\left(x_{N}, y_{N}\right)\right\}$ ，其中 $x_{i} \in \mathbf{R}^{n}$ 为输入， $y \in \mathbf{R}$ 是对应的输出， $i = 1, 2, \cdots, N$ 。