我的机器学习之路

从2016/11/28下了《opencv编程手册》开始学习opencv起,进入了CV方向

之后学习了CS229的课,以及一些理论基础

现在开始开始记录我的学习之路

SVM支持向量机

建议先看这篇,里面对概念讲解比较形象易懂,适合初学者

之后再看这篇经典的 这里

目前第二层已看完,待填坑

CNN卷积神经网络

先看这篇

再看CS231

deep learning tutorial

这个

Logistic回归 代码  概率论那方面要搞懂

似然函数:这个函数放映的是在不同的参数θ取值下,取得当前这个样本集的可能性,因此称为参数θ相对于样本集X的似然函数(likehood function)。记为L(θ)。

最大似然估计你可以把它看作是一个反推。多数情况下我们是根据已知条件来推算结果,而最大似然估计是已经知道了结果,然后寻求使该结果出现的可能性最大的条件,以此作为估计值。

极大似然估计,只是一种概率论在统计学的应用,它是参数估计的方法之一。说的是已知某个随机样本满足某种概率分布,但是其中具体的参数不清楚,参数估计就是通过若干次试验,观察其结果,利用结果推出参数的大概值。最大似然估计是建立在这样的思想上:已知某个参数能使这个样本出现的概率最大,我们当然不会再去选择其他小概率的样本,所以干脆就把这个参数作为估计的真实值。

回到男生身高那个例子。在学校那么男生中,我一抽就抽到这100个男生(表示身高),而不是其他人,那是不是表示在整个学校中,这100个人(的身高)出现的概率最大啊。那么这个概率怎么表示?哦,就是上面那个似然函数L(θ)。所以,我们就只需要找到一个参数θ,其对应的似然函数L(θ)最大,也就是说抽到这100个男生(的身高)概率最大。这个叫做θ的最大似然估计量,记为:

有时,可以看到L(θ)是连乘的,所以为了便于分析,还可以定义对数似然函数,将其变成连加的:

      好了,现在我们知道了,要求θ,只需要使θ的似然函数L(θ)极大化,然后极大值对应的θ就是我们的估计。这里就回到了求最值的问题了。怎么求一个函数的最值?当然是求导,然后让导数为0,那么解这个方程得到的θ就是了(当然,前提是函数L(θ)连续可微)。那如果θ是包含多个参数的向量那怎么处理啊?当然是求L(θ)对所有参数的偏导数,也就是梯度了,那么n个未知的参数,就有n个方程,方程组的解就是似然函数的极值点了,当然就得到这n个参数了。

softmax回归 链接

安装theano 链接 由于pip命令版本较低,建议先升级pip,否则会报错 还要安装mingw cmd命令conda install mingw libpython

Logistic regression py代码 注释参考

2016-12-19 21:22:36 目前算是到了一个阶段,在开启下一段学习之路前会停留很久,巩固前面所学的

tensorflow 官方中文教程 链接

原文地址:https://www.cnblogs.com/cnblogs321114287/p/6198010.html