一、说在前面
1、本周主要学习了伪分布式
二、HDFS
负责大数据的存储
核心进程：
必须进程：
Namenode(1个)： 负责文件，名称等元数据(属性信息)的存储！
文件名，大小，文件切分了多少块(block)，创建和修改时间等！
职责： 接受客户端的请求！
接受DN的请求！
向DN分配任务！
Datanode(N个)： 负责文件中数据的存储！
职责： 负责接受NM分配的任务！
负责数据块(block)的管理(读，写)！
可选进程：
SecondaryNamenode(N个): 负责辅助NameNode工作！
三、MapReduce
MapReduce(编程规范)： 程序中有Mapper(简单处理)和Reducer(合并)
遵循MapReduce的编程规范，编写的程序，打包后，称为一个Job(任务)！
Job需要提交到YARN上，向YARN申请计算资源，运行Job中的Task(进程)！
Job会先创建一个进程MRAppMaster(mapreduce 应用管理者)，由MRAppMaster向YARN申请资源！
MRAppMaster负责监控Job中各个Task运行情况，进行容错管理！
四、YARN
YARN负责集群中所有计算资源的管理和调度！
常见进程：
ResourceManager(1个): 负责整个集群所有资源的管理！
职责： 负责接受客户端的提交Job的请求！
负责向NM分配任务！
负责接受NM上报的信息！
NodeManager(N个): 负责单台计算机所有资源的管理！
职责： 负责和RM进行通信，上报本机中的可用资源！
负责领取RM分配的任务！
负责为Job中的每个Task分配计算资源！
概念：
Container（容器）: NodeManager为Job的某个Task分配了2个CPU和2G内存的计算资源！
为了防止当前Task在使用这些资源期间，被其他的task抢占资源！
将计算资源，封装到一个Container中，在Container中的资源，会被暂时隔离！
无法被其他进程所抢占！
当前Task运行结束后，当前Container中的资源会被释放！允许其他task来使用！