算法/机器学习算法工程师笔试题

基本概念

• 回归（regression）：回归，指研究一组随机变量 (Y1，Y2，…，Yi) 和另一组 (X1，X2，…，Xk) 变量之间关系的统计分析方法，又称多重回归分析。通常 (Y1，Y2，…，Yi) 是因变量，(X1，X2，…，Xk) 是自变量。

分类准则

• 线性分类器最佳准则：
  
  • 感知准则函数
  • 支持向量机
  • Fisher准则
  • 贝叶斯分类器不是线性分类器。

损失函数的分类

• 对称损失 / 0-1 损失函数

  对于分类问题而言，通常每种类别状态都与 c 类中的一种有关，且行为 αi 通常被解释为类别状态被判决为 wi，如果采取行为 αi 而实际为 wj，则只有在 i=j 的情况下判决是正确的：

λ(αi|wj)={0,i≠j1,i=ji,j=1,2,…,c

SVM

• 几何间隔（margin）与误分次数的关系（数学上）：#≤(2Rρ)2，分母即为几何间隔，分子中的 R，为样本中的最大向量；

• 软间隔 SVM 的最大间隔距离满足如下不等式：ρ≥2(mC)1/2，C 位软间隔 SVM 的常数，m 位支持向量的个数；

杂项

基于二次准则函数的H-K算法较之于感知器算法的优点

• HK 算法的思想很朴实，就是在最小均方误差准则下求得权矢量。
• 它相对于感知器算法的优点在于，它适用于线性可分和非线性可分的情况。
• 对于线性可分的情况，给出最优权矢量，
• 对于分线性可分的情况，能够判别出来，以退出迭代过程。