Hadoop介绍
第一节：简介
hadoop基于普通廉价机的提供高可用、高扩展、高容错的分布式存储计算服务的。
hadoop设计的时候考虑到集群中任何一个节点任何时间都有可能出故障 hadoop已经帮你规避了。
第二节：hadoop产生背景
一、google
海量的网页数据如何存储的问题？
海量网页数据如何计算?
海量网页数据快速查询?
之后在2003年发布了3篇论文：
GFS---- GOOGLE FILE SYSTEM google的文件系统
MAPREDUCE--- google的分布式计算方案
BIGTABLE--- google的分布式数据库
二、Doug Cutting
doug cutting 将google的3篇论文使用java语言实现了并且开源贡献给apache
GFS--- HDFS
MAPREDUCE---MAPREDUCE
BIGTABLE---HBASE
hadoop1.0 分为2个模块：hdfs、mapreduce
三、hadoop解决的问题
海量数据的存储、海量数据的计算
第三节：hadoop包含代码模块
hadoop common: 工具类
hdfs (hadoop distributed file system)：hadoop的分布式文件系统
mapreduce：hadoop的分布式计算服务
yarn：hadoop的分布式资源调度框架
第四节：hadoop包含功能模块
一、 hdfs
1、作用
分布式存储，一主多从一助理。
2、namenode
分布式存储的老大，管理每个节点上存储数据的编号，对应关系
3、datanode
负责真正的数据存储的，真正干活的
4、secondarynamenode
namenode的助理，备份namenode的数据 ，帮助namenode减压。
二、mapreduce
分布式计算程序，安装完成没有对应进程
三、yarn
1、作用
服务于计算程序的，主从。
2、resourcemanager
资源调度的老大（只能一个），决定哪一个计算任务需要多少资源在哪一个节点分配资源的。
3、nodemanager
提供资源运行任务的（可以多个）