对分类问题，设 (yin{-1, 1}), (mathop{sign}(f(x))) 代表分类器， 定义 (z = yf(x)) 为 margin 值。
一般来说， margin loss function 代表只需输入 margin 值即可输出 loss 的 function. 也即 (ell: mathbb R o mathbb R) or (ell(y, f(x)) riangleq ell(yf(x))), 常见的 loss 都可写成 margin loss 的这种形式，例如:
[egin{align*}
ext{0-1 loss (PAC analysis)} quad&1{zle 0}\
ext{logistic loss (Logistic Regression)} quad&log(1+exp(-z))\
ext{exponential loss (Boosting)} quad&exp(-z)\
ext{hinge loss (SVM)} quad&[1-z]_+\
ext{square loss (Linear Regression)} quad& (1-z)^2\
ext{ramp loss (truncated at $s$)} quad& [1-z]_+ - [s-z]_+
end{align*}
]
以上参考:
- ICML-19 On Symmetric losses for learning from corrupted labels
- ICML-16 Loss Factorization, Weakly Supervised Learning and Label Noise Robustness
- 解析卷积神经网络---深度学习实践手册 p108
- 机器学习理论研究导引课程讲义（consistency）
但 ICML-19 Bridging Theory and Algorithm for Domain Adaptation中 特指 margin loss 为 如下 loss, 取代 0-1 loss
定义假设 (f) 在 ((x,y)) 处 margin 为： (
ho_f(x,y) = frac{1}{2}(f(x,y)-max_{y'
eq y}f(x,y')))
再定义一个 (
ho)-间隔损失函数（机器学习理论研究导引讲义中基于 Rademacher 复杂度的 Boosting 间隔分析理论也提到此）如下：
[ Phi_
ho(x) riangleq
egin{cases}
0 quad&
hole x\
1-x/
ho quad &0le xle
ho\
1 quad &xle 0
end{cases}
]
则 (Phi_ ho( ho_f(x,y))) 为 (f) 在样例 ((x,y)) 处的 margin loss