基本概念
损失函数：用来衡量预测结果和真实结果之间的差距，其值越小，代表预测结果和真实结果越一致。通常是一个非负实值函数。通过各种方式缩小损失函数的过程被称作 优化。损失函数记作 L(Y,f(x))。
损失函数分为经验风险损失函数和结构风险损失函数。经验风险损失函数指预测结果和实际结果的差别，结构风险损失函数是指经验风险损失函数加上正则项。
0-1损失函数：预测值和实际值精确相等则“没有损失”为0，否则意味着“完全损失”为1。
但是相等这个条件太过严格，因此可以放宽条件，即满足
可以认为相等。
比如，对于相同的预测结果，两个损失函数严格程度不同。设T=0.5，则有：
满足，所以，L'的严格程度就降低了，所以没有损失。
绝对值损失函数(Absolute LF)：预测结果与真实结果差的绝对值。简单易懂，但是计算不方便。
log对数损失函数（Logarithmic LF）或 对数似然损失函数（log-likehood loss function）：对数函数具有单调性，在求最优化问题时，结果与原视目标一致。可将乘法转化为加法。简化计算：
平方损失函数（Quadratic LF）：预测结果与真实结果差的平方。
优势：
- 每个样本的误差都是正的，累加不会被抵消
- 平方对于大误差的惩罚大于小误差
- 数学计算简单、友好，导数为一次函数
指数损失函数（Exponential LF）：单调性、非负性的优良性质，使得越接近正确结果误差越小：
折叶损失函数（Hinge LF）：也称铰链损失，对于判定边界附近点的惩罚力度较高，常见于SVM
感知损失(perceptron loss)函数：
是Hinge损失函数的一个变种，Hinge loss对判定边界附近的点(正确端)惩罚力度很高。而perceptron loss只要样本的判定类别正确的话，它就满意，不管其判定边界的距离。它比Hinge loss简单，因为不是max-margin boundary，所以模型的泛化能力没 hinge loss强。
交叉熵损失函数 (Cross-entropy loss function)
注意公式中 表示样本，
表示实际的标签，
表示预测的输出，
表示样本总数量。
本质上也是一种对数似然函数，可用于二分类和多分类任务中。
二分类问题中的loss函数（输入数据是softmax或者sigmoid函数的输出）：
多分类问题中的loss函数（输入数据是softmax或者sigmoid函数的输出）：