常见概念

1、SOTA

SOTA可以简单理解为:最高性能指标,一般搞人工智能方面的,提出的方法要达到这个标准,才能表明你的方法先进、顶级。
但是也不能功利心这么强吧,

2、baseline

baseline一词应该指的是对照组,基准线,就是你这个实验有提升,那么你的提升是对比于什么的提升,被对比的就是baseline。比如你要研究一个新的模型,你是在前人的模型基础上新增加了一些组件,别人也基本都是在这个模型上进行修改,那这个模型就叫做baseline model——基准模型。听名字就能听出来,就是你自己模型的一个基准,一个基本的框架,模型再复杂,最根本的框架是差不多的。

3、pipeline

pipeline是机器学习算法的基础架构。流水线包括
(1)数据读取
(2) 数据预处理
(3)创建模型
(4)评估模型结果
(5)模型调参
(6)实际应用

4、sentiment lexicon

  • HowNet is commonly used as a sentiment dictionary for analyzing Chinese texts

  • SentiWordNet is conmmonly used to analyze English texts. ( Stefano Baccianella, Andrea Esuli, and Fabrizio Sebastiani. 2010. SentiWordNet 3.0: An Enhanced
    Lexical Resource for Sentiment Analysis and Opinion Mining. Proceedings of LREC 10.)

5、 learning rate

学习率(learning rate)作用是当训练数据本身不能确信为完全正确并且包含在现实世界测量中普遍出现的错误或噪声这两种情况,通过学习率可以抑制这些错误或噪声的影响,使得错误或噪声得到了缓解和调和

6、众包 crowdsourceing

Crowdsourcing is a type of participative online activity in which an individual, an institution, a nonprofit organization, or company proposes to a group of individuals of varying knowledge, heterogeneity, and number, via a flexible open call, the voluntary undertaking of a task. The undertaking of the task; of variable complexity and modularity, and; in which the crowd should participate, bringing their work, money, knowledge [and/or] experience, always entails mutual benefit. The user will receive the satisfaction of a given type of need, be it economic, social recognition, self-esteem, or the development of individual skills, while the crowdsourcer will obtain and use to their advantage that which the user has brought to the venture, whose form will depend on the type of activity undertaken。

7、Ablation Study

ablation study是为了研究模型所提出的一些结构是否有效而设计的实验,如你为了提升baseline的性能,给它加了两个模块AB,加完之后提高很多,此时你需要做ablation study来验证你的AB是否真的有用,方法如下:
1、在baseline的基础上加上模块A,看效果。
2、在baseline的基础上加上模块B,看效果。
3、在baseline的基础上同时加上模块AB,看效果。
然后结果可能是,实验1和实验2的结果都不如实验3,那么说明AB都是有用的;然而也有可能你会发现实验1的结果和实验3一样,甚至更好。这就说明你的想法是有问题的,模块B其实并没有起到作用,提升只来自于模块A。综上所述,ablation study就是你在同时提出多个思路提升某个模型的时候,为了验证这几个思路分别都是有效的,做的控制变量实验的工作。
ablation study 是模型简化测试。看看取消掉一些模块后性能有没有影响。根据奥卡姆剃刀法则,简单和复杂的方法能达到一样的效果,那么简单的方法更可靠。

参考

https://www.zhihu.com/question/60170398?sort=created

原文地址:https://www.cnblogs.com/z-712/p/13520642.html