Kaldi的交叉熵正则化

xent_regularize, Cross Entropy Regularize

nnet3/nnet-discriminative-trainning.cc:109

void NnetDiscriminativeTrainer::ProcessOutputs()

   

交叉熵正则化,即帧平滑

《解读深度学习:语音识别实践》8.2.3 帧平滑

   

当正确地进行词图补偿后,进行几次序列鉴别性训练的迭代后,就会很快出现过拟合。即,几次鉴别性训练迭代后,模型计算出的帧准确率(帧的后验概率)显著变差(比原模型)。这要归咎与帧序列比帧的维度高,那么,训练时估计出的后验概率是处于帧序列的层次,而解码时估计出的后验概率是处于帧的层次,

原文地址:https://www.cnblogs.com/JarvanWang/p/7499611.html