大数据挖掘简介

大数据挖掘涉及如下的课程:机器学习,统计学,人工智能,数据库等,但是更多的注重如下的特性:

1)可扩展性(Scalability)(大数据)

2)算法和架构

3)自动的处理大数据


我们需要学习挖掘不同类型的数据:

1)高维的数据

2)图数据

3)无限的(infinite/never-ending)数据

4)贴有标签的数据


同时我们还要学习不同的计算模型:

1)MapReduce算法

2)流和在线(Streams and Online)算法

3)Single machine in-memory


然后,还要学习解决现实中的问题,像:

1)推荐系统

2)关联规则

3)链接分析

4)重复检测

等等。


还要学习各种“工具",像:

1)线性代数(SVD,推荐系统等)

2)优化(随机梯度下降)

3)动态规划(频繁项集)

4)Hashing(LSH,Bloom filters)


以上所有的内容可以通过如下的图关联在一起来展示,如下:



在学习大数据挖掘之前,需要有如下的预备知识:

1)算法方面的知识(CS161)——动态规划,基本的数据结构等

2)基本的概率论方面的知识(CS109)——矩(Moments),典型的分布,最大似然估计(MLE)等

3)编程方面的知识(CS107)——C++或Java将非常有用


内容来自于:http://www.stanford.edu/class/cs246/slides/01-mapreduce.pdf

原文地址:https://www.cnblogs.com/pangblog/p/3347993.html