根据Andrew Ng在斯坦福的《机器学习》视频做笔记，已经通过李航《统计学习方法》获得的知识不赘述，仅列出提纲。
1 推荐系统
预测用户(j)对电影(i)的评分：(( heta^{(j)})^T(x^{(i)}))
1.1 基于内容的推荐Content-based
其中( heta^{(j)})通过学习得来，其优化目标是(min_{ heta^{(j)}}frac{1}{2m^{(j)}}sum_{i:r(i,j)=1}(( heta^{(j)})^Tx^{(i)}-y^{(i,j)})^2+frac{lambda}{2m^{(j)}}sum_{k=1}^n( heta_k^{(j)})^2)
总体优化目标(min_{ heta^{(j)}}frac{1}{2}sum_{j=1}^{n_u}sum_{i:r(i,j)=1}(( heta^{(j)})^Tx^{(i)}-y^{(i,j)})^2+frac{lambda}{2}sum_{j=1}^{n_u}sum_{k=1}^n( heta_k^{(j)})^2)
1.2 协同过滤Collaborative Filtering
其中(x^{(i)})通过学习得来，其优化目标是(min_{x^{(i)}}frac{1}{2}sum_{j:r(i,j)=1}(( heta^{(j)})^Tx^{(i)}-y^{(i,j)})^2+frac{lambda}{2}sum_{k=1}^n(x_k^{(i)})^2)
1.3 结合起来
[J(x^{(1)},cdots,x^{(n_m)}, heta^{(1)},cdots, heta^{(n_u)})=frac{1}{2}sum_{(i,j):r(i,j)=1}(( heta^{(j)})^Tx^{(i)}-y^{(i,j)})^2+frac{lambda}{2}sum_{i=1}^{n_m}sum_{k=1}^n(x_k^{(i)})^2+frac{lambda}{2}sum_{j=1}^{n_u}sum_{k=1}^n( heta_k^{(j)})^2
]
可以同时对( heta)和(x)进行最小化。
向量化（低秩矩阵分解）
(XTheta^T)
均值归一化
(( heta^{(j)})^T(x^{(i)})+mu)