ML的灌水现象

http://demonstrate.ycool.com/post.3137870.html

看了几天 paper 和书,发现自己果然就是 zt好多东西就是不懂,那些人做的真快,我才建立起一种大致的灌水想法和模式,然后发现大家已经灌了好久了,大家手上都有长期灌水获得的工具,我却没有。

现在想挖个小坑,反而被人骂了 ~~><~~

下面是大致的灌水经历
naive Bayesian 的 discriminative pair 是 logisticregression,能用 kernel,出现了 KLR,换个training 的方式(MLE -> maximum margin)来了SVM,又因为 SVM 用了 regularizer,所以出来PKLR。又因为 SVM 稀疏,搞了个 IVM、RVM。监督的不够,咱还能加上半监督的,各种 regularizer一样上一个,SVM 要我 logistic regression 也要。KLR 是 frequentist 的,于是弄成 Bayesian,没发精确算,每个 approximation 算法来个版本,什么 Laplace approximation、variational method、variational bound、EP。这还不够,因为不是nonparametric,于是上 GP,然后每个近似方法再来一个。好吧,logistic regression 到了 NLP换了件衣服叫 CME,说来说去这 feature 好就想为啥那 generative model 不好用,可以认为加了状态之间 transition 的 naive Bayesian 就变成了HMM,可是 HMM 就是不能用 feature,于是出来个 MEMM。但是还觉得 label bias 不爽,干脆不是让 state 竞争,松掉这块的约束,换成 MRF,于是出现了链式 CRF。可是这不还是 logistic regression 么,那么再上 maximum margin、regularizer 就成了 maximum margin Markov
network;用个 Bayes 先验,出个 Bayes 版本,意犹未尽的大家还用上了 GP。HMM 里面有个 semi-Markov版本,于是很自然的 CRF 也可以来,估计 M3N
也行... 再来个 Bayes 的吧,还可以上 GP...


另外一排人在搞 Dirichlet process,DP 一出原来有限的都能无限。做法也是先把 frequentist 变 Bayes变了把参数空间换成 DP 先验。然后每个近似算法
来一个,另外 DP 里面采样很重要,还有多种不同的interpretation,比如用 CRP 的,用 SBP 的,更有甚者,瞧瞧 Jordan 的那个 DP 的 slides,那不就是
说 nnd 爷觉得 DP 不够爽快,还有 *** process 更合适呢...什么可以换就换什么,换来换去发现手上还是naive Bayesian 和 logistic regression,上面套了很多的wrapper...

原文地址:https://www.cnblogs.com/kevinGaoblog/p/3874702.html