Hadoop学习:(二)hadoop的简介

hadoop的版本区别:

  • 1.0.X - current stable version, 1.0 release
  • 1.1.X - current beta version, 1.1 release
  • 2.X.X - current alpha version
  • 0.23.X - simmilar to 2.X.X but missing NN HA.
  • 0.22.X - does not include security
  • 0.20.203.X - old legacy stable version
  • 0.20.X - old legacy version

    参考官方地址:http://hadoop.apache.org/releases.html

hadoop框架:

  Hadoop 有许多元素构成。其最底部是 Hadoop Distributed File System(HDFS),它存储 Hadoop 集群中所有存储节点上的文件。HDFS(对于本文)的上一层是 MapReduce 引擎,该引擎由 JobTrackers 和 TaskTrackers 组成。

hadoop集群搭建:

  (略)参考:http://www.cnblogs.com/xia520pi/category/346943.html

  主要学习hadoop框架以及背后的思想,编码mapreduce程序,来解决实际问题。

mapreduce过程:

  主要为六个过程:

  InputFormat

  Mapper

  Commbiner

  Partitioner

  Reducer

  OutputFormat

  学习开发的hadoop版本:1.0.4

  

  

原文地址:https://www.cnblogs.com/liangyours/p/2858786.html