2、Hadoop 2.X 概述及生态系统

Hadoop官网

http://hadoop.apache.org/

---

Hadoop来源

• GFS -> HDFS
• MapReduce -> MapReduce
• BigTable -> HBase

---

Common

The common utilities that support the other Hadoop modules.

• 工具、基础、为工程服务

HDFS

A distributed file system that provides high-throughput access to application data.

• 存储海量数据
• 分布式
• 安全性：副本数据
• 数据是以block的方式进行存储的

YARN

A framework for job scheduling and cluster resource management.

• 分布式资源管理框架
• 管理整个集群的资源（内存、CPU核数）
• 分配调度集群的资源

MapReduce

A YARN-based system for parallel processing of large data sets.

• 对海量数据的处理
• 分布式
• 思想：分而治之。
• 大数据集分为小的数据集，进行逻辑业务处理（map），合并统计数据集结果（reduce）

---

Hadoop生态圈