《机器学习基石》笔记(三)(台大林轩田版Lecture3

3.分别从{Y,yn,procol,X}角度对学习算法进行分类

3.1 根据输出的标签Y可以将学习算法分为二分类,多分类,回归,结构化学习四种类型。

{binary classification;multiclassification;regression;structured learning},其中,二分类

和回归算法最常见。

structure learning 例子:

①识别句子是否为病句(涉及语法结合:自然语言处理?)(与序列结构有关)

②根据蛋白质成分折叠顺序的不同判断蛋白质的种类(与序列结构有关)

3.2 根据输入的标签yn是否已知,已知数量的多少可以将学习算法分为有监督学习,无监督

学习,半监督学习,强化学习。

{supervised learning;unsupercised learning;semi-supervised learning;reinforcement learning}。

强化学习(reinforcement learning)的例子:假如你要训练你的狗狗,需要将“sit down”这个语音命令

与“坐下”动作链接起来,但是狗狗不能理解“坐下”与“sit down”之间的关系。这个时候你能做的就是给出

“sit down” 命令,狗狗如果做出“打滚”动作,你进行惩罚,告诉狗狗这个链接是不对的;再给出“sit down”

命令,狗狗做出“仰面躺倒”动作,你进行惩罚,继续告诉狗狗这个链接不对;直到狗狗最终做出“坐下动作”,

你做出正确反馈(奖励食物之类),告诉狗狗这是对的。

3.3 根据机器对数据的不同读取方式protocol可以将算法分成批处理学习,在线学习,主动学习三种。

{batch learning;on-line learning;active learning}。

protocol数据读取方式有三种,分别是batch,online和active。batch表示机器一次性将数据全部读取,

训练后直接得出一个最好的预测函数g;online表示数据有序列地每次读取一部分(或一个),每次

都会根据读取的数据修正当前的g,迭代结束后得到一个最优的g。(可以类比之前的博客PLA的解释)。

active方式表示当机器不确定某数据x对应的y时,会主动地询问y的信息,active方式可以减少y的人工

标注工作。

【附:强化学习一般是online learning】

protocol含义如下图所示:

三种protocol读取数据的方式如下:

3.4 输入数据集X的特征形式通常可以分为三种,分别是{concrete feature;raw feature;abstract feature},

concrete feature一般指具体可以量化的特征,比如说一个公司的净收入,收益增长率等;raw feature一般

可以是图像像素点信息,语音信息等;abstract feature一般指没有实际物理意义的特征,比如一个人的名字,

学号,ID等等。raw feature 和 abstract feature 在实际应用中一般会经过特征工程这一步骤,将其转化成

concrete feature。

具体例子如下:帮助理解concrete feature/raw feature/abstract feature

3.5 Lecture3 小结

参考资料:

1.B站《机器学习基石》林轩田版,https://www.bilibili.com/video/BV1Cx411i7op?p=10  p10~p13

原文地址:https://www.cnblogs.com/feynmania/p/12976759.html