1. 平方误差

  • 对于单个数据来说,其平方误差为

E=12k(yktk)2\begin{array}{c} E = \frac{1}{2} \sum_{k} (y_k - t_k)^2 \end{array}

其中,yky_k 表示神经网络的输出,tkt_k 表示监督数据(tt 采用 one-hot 编码),kk 表示数据的维度。

  • 对于所有训练数据来说,其平方误差为

E=12Nnk(ynktnk)2\begin{array}{c} E = \frac{1}{2N} \sum_n \sum_k (y_{nk} - t_{nk})^2 \end{array}

2. 交叉熵误差

  • 对于单个数据来说,其交叉熵误差为

E=ktklogyk\begin{array}{c} E = - \sum_{k} t_k \log y_k \end{array}

其中,yky_k 表示神经网络的输出,tkt_k 表示监督数据(tt 采用 one-hot 编码),kk 表示数据的维度。

  • 对于所有训练数据来说,其交叉熵误差为

E=1Nnktnklogynk\begin{array}{c} E = -\frac{1}{N} \sum_n \sum_k t_{nk} \log y_{nk} \end{array}