《实用机器学习》中的一些拓展问题

问题1:什么是参数和非参数机器学习算法?

1.1参数机器学习算法

1)两步骤:

     1. 选择一种目标函数的形式;

     2. 从训练数据中学习目标函数的系数。

2)参数机器学习算法的优点:

简单:这些算法很容易理解和解释结果;

快速:参数模型可以很快从数据中学习;

少量的数据:它们不需要太多的训练数据,甚至可以很好地拟合有缺陷的数。

3)参数机器学习算法的局限性:

约束:这些算法选择一种函数形式高度低限制模型本身;

有限的复杂性:这种算法可能更适合简单的问题;

不适合:在实践中,这些方法不太可能匹配潜在的目标(映射)函数。

4)参数机器学习算法的一些常见例子包括:

Logistic Regression

LDA(线性判别分析)

感知机

朴素贝叶斯

简单的神经网络

1.2非参数机器学习算法:

  不对目标函数的形式作出强烈假设的算法称为非参数机器学习算法。通过不做假设,它们可以从训练数据中自由地学习任何函数形式。

1)在构造目标函数时,非参的方法寻找最合适的训练数据,同时保留一些对不可见数据的泛化能力。因此,这些非参方法能够拟合大多数的函数形式。

2)非参数机器学习算法的优点:

灵活性:拟合大量的不同函数形式;

能力:关于潜在的函数不需要假设(或者若假设);

性能:可以得到用于预测的高性能模型。

3)非参数机器学习算法的局限性:

更多的数据:需要更多的训练数据用于估计目标函数;

慢:训练很慢,因为它们常常需要训练更多的参数;

过拟合:更多的过度拟合训练数据风险,同时它更难解释为什么要做出的具体预测。

4)非参数机器学习算法的一些常见例子包括:

KNN

决策树,比如CARTC4.5

SVM

原文地址:https://www.cnblogs.com/chihaoyuIsnotHere/p/9650258.html