起源：Hadoop是google 的集群系统的开源实现
--Google集群系统，：GFS（Google file system）,MapReduce,BigTable（严格意义上讲，这个不是hadoop的东西）
--Hadoop 主要由 HDFS（Hadoop Distributed file system ---hadoop文件分布式系统）MapReduce和HBase组成
两大核心：
MapReduce : 组成 Map进行任务的分解，Reduce进行结果的汇总
HDFS ：组成 NameNode ,DataNode ,Client
HTFS讲解：
通常的，我们习惯使用的就是关系型数据库，比如mysql , sql server ， oracle等等，但是这些数据库都是有局限性的，
数据量过大时候，也需要更换，总不能一直更换吧？所以，这就延伸出了，hadoop(当然，这个东西的起源也就是因为这个，当时是用作
数据采集的，但是发现数据量过大，以至于无法处理，所以 hadoop这东西就出来了，也是被 挤出来的一个东西)
大数据：所谓的大数据，简单的可以这么理解为，数据集的大小超过了数据库软件和现有工具的处理 的范围了，所以，很多人整天喊着
大数据大数据，到底多大的数据才是大数据？（这里有点儿讽刺的意味），每次一说出来总被吓一跳，让人觉得很厉害的样子。
Hadoop大数据 与 传统关系型数据库的 对比：
对比一
非结构化，半结构化，多维数据
对比二：硬件（环境方面）
比较直观的理解就是，关系型数据库往往就单台服务器，所以不论从扩展性或者是 性能方面 都多少存在问题，可能有人说，微软有数据库错误集群
功能啊，这个是不假，但是那不是真正意义上的集群方式。扩展性更不用说了，就一个服务器，而且数据库只能指定具体的数据类型才可以
Hadoop项目（子集）：
Core： core是一套分布式文件系统，同时支持Map_Reduce的计算框架
Avro: 定义了支持大数据应用的数据格式，虽然是JAVA编写的，但是提供了对多种语言的支持
HDFS：Hadoop分布式文件系统
Map/Reduce : 是一种使用比较简易的框架，可在多个机器集群上，以一种可靠的容错方式处理 TB级别的数据集
ZooKeeper: 高可用的 可靠的分布式协同系统
PIG： （目前使用的越来越少）
Hive: 为提供简单的数据操作设计的 新的 分布式数据仓库。它提供了HiveSQL语言，类似于sql语句一样进行数据查询
HBase: 建立在Hadoop Core之上的提供一个可扩展的 数据系统
Flume: 一个分布式、可靠、高可用的海量日志集合的系统，支持在系统中定制各类数据发送方，用于数据收集
Mahout: 是一种具有可扩充能力的机器学习类
Sqoop: 是Apache 下用于RDBMS 和HDFS互相导数据的工具
（以上只有绿色部分的内容才是 hadoop的本身的内容，其他的东西做扩展使用）
Hadoop获取
http://hadoop.apache.org
当然，可以看到很多版本的 hadoop的文件，这里先使用 1.2.X 的版本，先从基础开始嘛，然后后面再使用 2.X 的版本
1.2.X的版本获取链接 https://archive.apache.org/dist/hadoop/common/hadoop-1.2.1/ 选择使用 .tar的 文件包，因为里面文件比较全，
包含相关文档等
HTFS介绍
htfs做到了可靠性的创建了多份数据块儿（data blocks）,的复制（replicas）,并将它们放在服务器群的计算节点当中（ompute nodes），
MapReduce就可以在他们所在的及诶点上处理数据了
HTFS结构：
namenode 和 datanode的节点的关系，注意看，我上面写的，datanodes我写的是复数形式，这里是因为
存储元数据（文件的大小，权限、版本等等） 文件系统保存在磁盘中
HTFS数据存储单元（Block - 存放到 datanode上）：
① 文件被分割成固定大小的数据块，同时分布在多个 数据存储单元中（作为副本），副本越多就会减少丢失率，默认情况下，每个block
② 默认都会有三个副本文件，要存放在 集群服务器中的不同机器硬盘上
③ block 工作单元被创建之后，大小固定是多大就是多大，不能在更改size，但是副本的个数，可以更改；
④ 如果集群中，摸一个block的节点挂掉了，这是，会自动创建一个新的副本block，将之前的数据，从另外的正常运行的block中拷贝文件过去
HTFS的 NameNode：
a) 功能是，接受客户端的读写服务
b) 保存的的metadata信息包括：① 文件owership 和 permissions ； ② 文件包含哪些模块 ； ③ Block保存在哪个 DataNode(由 dataNode启动时 上报给 nameNode,由namenode加载到内存)
c) metadata存储到磁盘上的文件名称为 fsimage,
d) Block的位置不会保存到 fsimage
e) edits 记录时，metadata的操作日志
HTFS 的读流程：（图片来自互联网）
client先open从namenode中获取文件的名称 ，上面有说过，数据的存储是存储在 datanodes中的，而namenode中存储的是 元数据，也就是数据的相关信息；
然后客户端根据获取的文件名称，从datanodes中读取数据。
HTFS 文件权限：
与LINUX文件权限类似
--- r:read ; w:write; x:execute ,权限 x 对于文件忽略，对文件夹表示 是否允许访问其他内容--- 如果LINUX 系统用户 张三 使用hadoop 创建一个文件，那么这个文件在HDFS中owner就是 张三--- HDFS 的权限目的：不做密码的认证，说白了，你使用的用户名，这个用户就拥有所有权限Hadoop 的安全模式：
注：该状态下，不能够对HDFS 进行操作，比如读写操作，你只能看着，这个过程可以理解就是，datanode数据加载过程中到 向namenode汇报的过程，这个阶段需要时间，这个时间段就是 安全的模式，当然可以强制终止，但是强制的结果就是，导致数据的丢失。所以不建议。
namenode启动的时候，将fsimage的映像文件加载到内存，