Hadoop2.7.3源码编译

一、编译源码步骤演示详解

需求:官网下载的hadoop包,执行hadoop命令时,会有警告信息,为去除此警告,需要重新编译hadoop相应版本的源码,替换hadoop安装包lib目录下的native(警告如下图所示)

. 编译hadoop环境要求

1、必须在linux系统下编译(以centos6.4为例)

2、编译使用的JDK版本必须是1.6以上

3、编译需要使用Maven版本3.0以上(因为源码是由Maven管理的)

4、安装Findbugs插件工具,版本1.3.9

5、安装CMake编译工具,版本2.6或最新版本

6、安装zlib devel

7、安装openssl devel

8、编译时必须连接互联网

===================================  编译开始   ===================================

第一步:解压hadoop源码安装包:版本以hadoop-2.7.3-src.tar.gz为例,解压之前需在此链接中下载2.7.3版本的源码包(https://archive.apache.org/dist/hadoop/common/hadoop-2.7.3/)

 

 第二步:配置JDK, 并使profile文件生效,版本:1.8  (必须得有root权限)

 

 

 

 第三步:配置Maven,并使profile文件生效, (必须得有root权限)

 第四步:安装gcc/gcc-c++/make工具,(必须得有root权限)

 

 第五步:解压安装protobuf工具,此包提供下载链接:http://pan.baidu.com/s/1kUK5HHH

 第六步:配置protobuf环境变量

 第七步:下载安装CMake、openssl-devel、ncurses-devel依赖包

 第八步:开始编译hadoop源码包,先移动到hadoop源码安装目录下

 

编译成功!整个过程大约需要等待20~30分钟,如下图

  第九步:替换原来的native目录,执行命令查看下,不再提示警告,编译好的文件在源码安装包的hadoop-dist目录下,具体目录替换目录如下图所示:

===================================  编译结束   ===================================

 

原文地址:https://www.cnblogs.com/dinghong-jo/p/7810211.html