1. 平方误差

  • 对于单个数据来说，其平方误差为

E=12∑k(yk−tk)2\begin{array}{c} E = \frac{1}{2} \sum_{k} (y_k - t_k)^2 \end{array}

其中，yky_k 表示神经网络的输出，tkt_k 表示监督数据（tt 采用 one-hot 编码），kk 表示数据的维度。

  • 对于所有训练数据来说，其平方误差为

E=12N∑n∑k(ynk−tnk)2\begin{array}{c} E = \frac{1}{2N} \sum_n \sum_k (y_{nk} - t_{nk})^2 \end{array}

2. 交叉熵误差

  • 对于单个数据来说，其交叉熵误差为

E=−∑ktklog⁡yk\begin{array}{c} E = - \sum_{k} t_k \log y_k \end{array}

其中，yky_k 表示神经网络的输出，tkt_k 表示监督数据（tt 采用 one-hot 编码），kk 表示数据的维度。

  • 对于所有训练数据来说，其交叉熵误差为

E=−1N∑n∑ktnklog⁡ynk\begin{array}{c} E = -\frac{1}{N} \sum_n \sum_k t_{nk} \log y_{nk} \end{array}