hadoop(一)——认识hadoop

Hadoop典型应用有:搜索、日志处理、推荐系统、数据分析、视频图像分析、数据保存等

Hadoop的核心是HDFS和mapreduce,两者只是理论基础,不是具体可使用的高级应用,Hadoop旗下有很多经典子项目,比如HBase、Hive等,这些都是基于HDFS和MapReduce发展出来的。

mapreduce是一种编程模型,用于大规模数据集(大于1T)的并行分析计算

MapReduce完全是谷歌文件系统(GFS)和谷歌MapReduce(GMR)的开源实现。

今天的hadoop项目是一系列hadoop子项目以及相关项目的集合,hadoop子项目包括hadoop common,hdfs,map/reduce,zookeeper;基于hadoo的相关开源项目包括:pig,chukwa,hive,hbase,mahout

zookeeper:分布式协同系统,提供分布式锁之类的基本服务,用于构建分布式应用

pig:

hive:

hbase:

mahout:

原文地址:https://www.cnblogs.com/hanying/p/4122709.html