「hadoop」centos7.2 上进行cdh5.7.2离线安装

已实机验证ok

环境
在win7 64位上通过vmware虚拟机安装三台centos7.2,内存分配分别为6G,1G,1G

其它必要软件:
CM:http://archive.cloudera.com/cm5/cm/5
parcel:http://archive.cloudera.com/cdh5/parcels/

注意事项:
1、root用户
2、parcel与cm版本一致
3、使用java默认路径(rpm包)

【配置centos minimal】

1、打开网络
默认网络处于关闭,nmtui命令进入配置页面

2、安装net-tools,支持ifconfig命令

3、设置主机名
/etc/hosts
10.0.203.71  cdj1

/etc/sysconfig/network(network这一步没加上貌似也没问题)
NETWORKING=yes
HOSTNAME=cdj1

4、增加主机名映射,位于/etc/hosts

【更新yum源】
#yum update

【安装python】
默认已安装

【安装其他库】
yum -y install gcc gcc-c++ make automake autoconf libtool perl

【关闭SELINUX】
# vi /etc/sysconfig/selinux
SELINUX=disabled
重启才能生效
重启后检查
[root@hadoop1~]#sestatus -v
SELinux status: disabled
表示已经关闭了

【安装编译环境】
这一步用于能够顺利安装vmware-tools
1、需要update
2、安装kernel-headers kernel-devel gcc
3、重启
参考如下命令:
#yum -y update
#yum -y install kernel-headers kernel-devel gcc
#reboot

【安装vmware-tools,文件共享】
用于win与centos文件共享,注意事项:
1、需要手动挂载/dev/cdrom才能访问cdrom

【安装java】
建议安装rpm格式,因为最好用默认路径
JAVA_HOME路径设置位于/etc/profile
#source /etc/profile让设置立即生效

【安装pstree】
#yum install psmisc

【免密码ssh】
在A生成公钥 #ssh-keygen -t rsa
添加到B中 #ssh-copy-id root@B // root为主机B的用户名

【关闭防火墙】
查看防火墙是否开启:#firewall-cmd --state
关闭防火墙:#systemctl stop firewalld.service
禁止防火墙开机启动:#systemctl disable firewalld.service

【安装mysql数据库】(主节点)

【parcel文件拷贝】(主节点)
1、拷贝parcel等三个文件到/opt/cloudera/parcel-repo/,手动创建目录
2、xxx.sha1改名为xxx.sha

【CM安装】
解压cm包到/opt目录下
mysql驱动jar包拷贝到 /usr/share/java/mysql-connector-java.jar

/opt/cm-5.7.2/share/cmf/lib,并改名为mysql-connector-java.jar
修改成主节点名称 /opt/cm-5.7.2/etc/cloudera-scm-agent/config.ini, 设置server_host=<namenode名称>
修改java路径,注意版本对应上,比如jdk8对应JAVA8_HOME_CANDIDATES
/opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh
/opt/cm-5.7.2/share/cmf/bin/cmf-server

【创建cloudera-scm用户】
#useradd --system --home=/opt/cloudera-manager/cm-5.7.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

【初始化CM数据库,仅主节点】
#/opt/cm-5.7.2/share/cmf/schema/scm_prepare_database.sh mysql cm -h10.0.203.10 -P3306 -uchendajian -p123456 --scm-host localhost root 123456
说明:这个脚本就是用来创建和配置CMS需要的数据库的脚本。各参数是指:
mysql:数据库用的是mysql,如果安装过程中用的oracle,那么该参数就应该改为oracle。
-10.0.203.10:数据库主机。
-uroot:root身份运行mysql。-p123456:mysql的root密码是123456。
--scm-host localhost:CMS的主机,一般是和mysql安装的主机是在同一个主机上。
最后三个参数是:数据库名,数据库用户名,数据库密码。
数据库连接配置文件位于 /etc/cloudera-scm-server/db.properties

【创建预设数据库】
mysql中依次创建hive, activity,oozie,hue等数据库,参考代码:create database activity DEFAULT CHARSET utf8 COLLATE utf8_general_ci;

【启动Cloudera Manager】
agent需要等待server完全启动后才能启动
主节点
#/opt/cm-5.7.2/etc/init.d/cloudera-scm-server start
#/opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start

从节点
#/opt/cm-5.7.2/etc/init.d/cloudera-scm-agent start
当cloudera-scm-server、cloudera-scm-agent start启动成功之后,可通过http://主节点IP:7180来访问CM,用户名密码都为admin。剩下的就是一直点下一步和根据具体的需求来配置集群了。


【配置】
服务启动几分钟后,浏览器打开配置网页 http://<namenode>:7180
用户名密码都为admin

【其它说明】
部分步骤参考:http://blog.csdn.net/shawnhu007/article/details/52579204

安装失败,需要清理再重装
1、rm -rf /opt/cm-5.7.2/lib/cloudera-scm-agent/*;
2、删除并重装cm数据库;

安装过程中在安装HDFS /tmp目录中被超时中止
返回再安装即可,有可能是安装时间过长引起

原文地址:https://www.cnblogs.com/ftrako/p/7791897.html