一、线性回归
基本的概念：训练集(积累知识)、学习策略(预测函数)、代价函数(均方差，logist loss)（评估）、优化，训练最优的模型参数
欠你和和过拟合：
正则化：惩罚参数，变相减少特征
二、逻辑回归
批量梯度下降：求一次参数，遍历所有的样本
随机梯度下降：每一个样本，求一次参数
多分类：one VS all：构建Theta矩阵，大小 ：（类别数，theta），预测，根据每一输入向量，属于某个类别的概率最大，sigmod计算概率
三、神经网络
多层的线性回归，是一个多个逻辑回归问题
1、不需要扩大输入特征，解决非线性分类问题，非线性是变量x含有次幂
2、多层的隐含层，也就意味着特征的扩展，每一层，都是模型参数的一次优化
四、SVM
代价函数：逻辑回归的代价函数拉直，当y = 1 ，希望theta*x >>1 ,才能使代价函数最小，当y=0 希望theta*x << -1 ,才能使代价函数最小
最大距间隔
核函数：将原来的特征向量转化为，样本点和标记点的相似度，作为特征，高斯函数，线性函数；
模型重要参数：C 、 deta
C 和lamda是相反的作用，高方差，增大C
五、K-means聚类
初始化：循环100次，随机初始化初始簇的中心值，选择失真函数最小的一组初始化值
K值的选取：肘部原则，更多的是根据后续具体的问题的目的，
优化：失真函数
二分K-means：进行多次2-means聚类，根据每一次的失真函数的值的大小，选择小的一边，继续分割，
六、特征降维
七、异常检测
找到一个概率模型，
高斯概率模型，样本集，最大似然估计，得到均值和方差，
新的样本的高斯概率如果小于theta，很小的值，则异常
八、推荐系统
基于内容的推荐，商品的内容，就是特征变量 x
协同过滤：用户的特征 theta，商品的特征x, y是用户对商品的打分，成本函数是均方差，入nn一样，theta、x初始化，后迭代训练
低质矩阵分解：把打分矩阵，分解为两个矩阵的乘