Hadoop的包的功能分析

hadoop源码中有很多package,以下对比较重要的package进行说明:

  package            说明

  tool              提供命令行工具,入distcp(集群间复制数据)、archive(打包归档)

  mapreduce           Map/Reduce实现

  filecache            提供hdfs的本地缓存,提高读取速度

  fs               抽象文件系统,提供统一访问接口

  hdfs               分布式文件系统实现

  ipc               节点间通信

  io               表现层,将数据编码、解码,序列化

  net               网络功能

  security            用户和用户组信息

  conf              系统配置参数

  metrics             信息收集,由于监控

  util               工具类

  record              根据DDL自动生成它们的编解码函数

  http              基于jetty(web容器)的程序,方便通过web查看文件系统状态和任务状态

  log               日志收集和backup

原文地址:https://www.cnblogs.com/frady/p/2704658.html