Hadoop核心思想

Hadoop:适合大数据的分布式存储与计算平台
关键:平台
功能:存储和计算
方法:分布式

作者:Doug Cutting
受Google三篇论文启发

---------------------------------------------------------
两大核心支持:
  (1)分布式文件系统 HDFS(Hadoop Distributed File System)
  (2)并行计算框架 MapReduce
数据来源HDFS

HDFS的架构
主从结构:
  主节点,只有一个:namenode
  从结点,有很多个:datanode(数据结点)
namenode负责
  (1)接收用户操作请求
  (2)维护文件系统的目录结构
  (3)管理文件与block之间关系,block与datanode之间关系
datanode负责
  (1)存储文件
  (2)文件分成block(分块存储)存储在磁盘上
  (3)为保证数据安全,文件会有多个副本

MapReduce的架构
主从结构
  主节点,只有一个:JobTracker
  从节点,很多个:TaskTrackers
JobTracker负责:
  (1)接收客户提交的计算任务
  (2)把计算任务分给TaskTrackers执行
  (3)监控TaskTrackers的执行情况
TaskTrackers负责:
  (1)执行JobTracker分配的计算任务

原文地址:https://www.cnblogs.com/angmu/p/4097628.html