Centos7 安装包方式（离线）安装Cloudera Manager和CDH

Cloudera Manager 技术架构

在这里插入图片描述

  • Agent：安装在每台主机上。该代理负责启动和停止的过程，拆包配置，触发装置和监控主机。
  • Management Service：由一组执行各种监控，警报和报告功能角色的服务。
  • Database：存储配置和监视信息。通常情况下，多个逻辑数据库在一个或多个数据库服务器上运行。例如，Cloudera的管理服务器和监控角色使用不同的逻辑数据库。
  • Cloudera Repository：软件由Cloudera 管理分布存储库。
  • Clients：是用于与服务器进行交互的接口：
  • Admin Console ：基于Web的用户界面与管理员管理集群和Cloudera管理。
  • API ：与开发人员创建自定义的Cloudera Manager应用程序的API。

Cloudera Manager 四大功能

1.管理：对集群进行管理，如添加、删除节点等操作。

2.监控：监控集群的健康情况，对设置的各种指标和系统运行情况进行全面监控。

3.诊断：对集群出现的问题进行诊断，对出现的问题给出建议解决方案。

4.集成：对hadoop的多组件进行整合。

CDH 介绍

CDH (Cloudera’s Distribution, including Apache Hadoop)，是Hadoop众多分支中的一种，由Cloudera维护，基于稳定版本的Apache Hadoop构建，并集成了很多补丁，可直接用于生产环境。

环境介绍

查看系统：cat /etc/redhat-release

CentOS Linux release 7.7.1908 (Core)

查看机器名称：hostname

S0

完整集群环境：

IP 主机名
192.168.3.9 S0
192.168.3.18 S1
192.168.3.161 S2
192.168.3.136 S3

基础环境配置

SSH免密登录

所有节点都需要执行 生成秘钥 然后发送到其他所有节点 实现ssh免密码登录

如下是主节点的操作：

yum -y install openssh-clients                 #安装ssh
ssh-keygen -t rsa                              #一直按回车 生成秘钥
ssh-copy-id 192.168.3.18	                   #发送到192.168.3.18节点   
ssh-copy-id 192.168.3.161	                   #发送到192.168.3.161节点
ssh-copy-id 192.168.3.136                      #发送到192.168.3.136节点

其他节点也如此操作，需修改发送到节点地址

配置主机

hostnamectl set-hostname S0

S0为主机名称，具体的内容根据实际的IP和主机名自行修改

设置网络

vi /etc/sysconfig/network

设置host

vi /etc/hosts

配置以下内容：
192.168.3.9 S0
192.168.3.18 S1
192.168.3.161 S2
192.168.3.163 S3

具体的内容根据实际的IP和主机名自行修改

将hosts文件拷贝到其他机器

scp /etc/hosts root@192.168.3.18:/etc/
scp /etc/hosts root@192.168.3.161:/etc/
scp /etc/hosts root@192.168.3.136:/etc/

关闭防火墙

查看防火墙状态

firewall-cmd --state

停止firewall

systemctl stop firewalld.service

禁止firewall开机启动

systemctl disable firewalld.service

关闭selinux

查看SELinux状态

/usr/sbin/sestatus -v

如果SELinux status参数为enable，即开启状态

getenforce 也可以用这个命令检查

临时关闭selinux，命令：setenforce 0

永久关闭selinux，修改配置文件需要重启机器

vi /etc/selinux/config

#将SELINUX=enforcing改成SELINUX=disabled

将selinux 文件拷贝到其他机器

scp /etc/sysconfig/selinux root@192.168.3.18:/etc/sysconfig/
scp /etc/sysconfig/selinux root@192.168.3.161:/etc/sysconfig/
scp /etc/sysconfig/selinux root@192.168.3.136:/etc/sysconfig/

再次强调，重启各服务器

安装JDK

首先要准备java环境 安装jdk 设置JAVA_HOME环境变量

/usr/java/jdk1.8.0_251-amd64

注意： jdk要安装在/usr/java/ 里 ，否则Cloudera Manager找不到会报错

也可选用rpm -i jdk-8u251-linux-x64.rpm 安装

配置环境变量

vi /etc/profile

export JAVA_HOME=/usr/java/jdk1.8.0_251-amd64
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH

重新加载profile使配置生效

source /etc/profile

环境变量配置完成，测试环境变量是否生效

echo $JAVA_HOME
java -version

安装NTP

yum install ntp -y

设置开机启动

chkconfig ntpd on

设置时间同步

ntpdate -u s2c.time.edu.cn

查看服务状态

ntpq -p

安装数据库服务

  • 安装mysql

    wget -i -c http://dev.mysql.com/get/mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql57-community-release-el7-10.noarch.rpm
yum -y install mysql-community-server

  • 设置开机启动

    systemctl enable mysqld.service

  • 启动服务并查看服务状态

    systemctl start  mysqld.service
systemctl status mysqld.service

  • 查看初始密码

    grep "password" /var/log/mysqld.log

    在这里插入图片描述

  • 进入数据库

    mysql -uroot -p     # 回车后会提示输入密码，密码为上面的初始密码

  • 修改默认密码

    ALTER USER 'root'@'localhost' IDENTIFIED BY 'new password';

    里有个问题，新密码设置的时候如果设置的过于简单会报错：
    在这里插入图片描述

    原因是因为MySQL有密码设置的规范，具体是与validate_password_policy的值有关

    如果不需要密码策略，在my.cnf文件中添加如下配置禁用即可，这样就可以设置简单密码了：

    vi /etc/my.cnf

    validate_password = off

    yum安装的默认在/etc文件夹下，修改完后记得需要重新启动MySQL服务

  • 设置远程登录

    GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY '1qaz@wsx' WITH GRANT OPTION;
FLUSH PRIVILEGES;

    先设置刚才的密码可以远程登录，然后使用flush命令使配置立即生效。
    如果还不行可以尝试重启一下数据库
    在这里插入图片描述

  • 安装数据库驱动

    mkdir -p /usr/share/java
cp mysql-connector-java-5.1.44-bin.jar /usr/share/java/mysql-connector-java.jar

下载CM与CDH

CM我选的是5，下载地址：http://archive.cloudera.com/cm5/cm/5/
在这里插入图片描述

CHD选择要与CM版本对应，下载地址：http://archive.cloudera.com/cdh5/parcels/5.16.2/
在这里插入图片描述

需要下载3个文件， 注意： 一定要修改sha1名称为sha

将上述三个文件上传至主节点

Cloudera Manager Server的安装

在主节点进行以下配置，我的S0

创建安装目录并解压安装介质

mkdir /opt/cloudera-manager
tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

安装数据库驱动

mkdir -p /usr/share/java
cp mysql-connector-java-5.1.44-bin.jar /usr/share/java/mysql-connector-java.jar

一定要这个名字（mysql-connector-java.jar），否则会报错Unable to find JDBC driver for database type: MySQL

创建系统用户cloudera-scm

useradd --system --home=/opt/cloudera-manager/cm-5.16.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

创建server存储目录

mkdir /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

创建hadoop安装包存储目录

mkdir -p /opt/cloudera/parcels;
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

配置agent的server指向

vi /opt/cloudera-manager/cm-5.16.2/etc/cloudera-scm-agent/config.ini
#将server_host修改为cloudera manager server的主机名,对于本示例而言，也就是server主机。

部署CDH离线安装包

mkdir -p /opt/cloudera/parcel-repo;
chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo;

在这里插入图片描述

将CDH相关文件上传至此目录下

上面由于使用外部mysql，此时，需要进行指定：

/opt/cloudera-manager/cm-5.16.2/share/cmf/schema/scm_prepare_database.sh mysql scm -hlocalhost -uroot -p1qaz@WSX --scm-host localhost scm scm 

#格式：scm_prepare_database.sh 数据库类型、要创建数据库名称、数据库服务器地址、具有创建权限的数据库用户名、具有创建权限的数据库密码、cm server服务器地址、访问新创建数据的用户名、访问新创建数据的密码

详情请参考：https://www.cnblogs.com/xiqing/p/9645724.html

启动Cloudera Manager Server

/opt/cloudera-manager/cm-5.16.2/etc/init.d/cloudera-scm-server start

启动Cloudera Manager Agent

/opt/cloudera-manager/cm-5.16.2/etc/init.d/cloudera-scm-agent start

在本地数据创建以下数据库，用户后续进去安装

CREATE DATABASE amon DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON amon.* TO 'amon'@'%' IDENTIFIED BY 'root';
CREATE DATABASE rman DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON rman.* TO 'rman'@'%' IDENTIFIED BY 'root';
CREATE DATABASE hue DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON hue.* TO 'hue'@'%' IDENTIFIED BY 'root';
CREATE DATABASE metastore DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON metastore.* TO 'hive'@'%' IDENTIFIED BY 'root';
CREATE DATABASE sentry DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON sentry.* TO 'sentry'@'%' IDENTIFIED BY 'root';
CREATE DATABASE nav DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON nav.* TO 'nav'@'%' IDENTIFIED BY 'root';
CREATE DATABASE navms DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON navms.* TO 'navms'@'%' IDENTIFIED BY 'root';
CREATE DATABASE oozie DEFAULT CHARACTER SET utf8 DEFAULT COLLATE utf8_general_ci;
GRANT ALL ON oozie.* TO 'oozie'@'%' IDENTIFIED BY 'root';

Cloudera Manager Agent的安装

在除了server服务器外的其他的服务器都要执行以下步骤进行对agent的部署
创建安装目录并解压安装介质

mkdir /opt/cloudera-manager
tar xzf cloudera-manager*.tar.gz -C /opt/cloudera-manager

安装数据库驱动

mkdir -p /usr/share/java
cp mysql-connector-java-5.1.44-bin.jar /usr/share/java/mysql-connector-java.jar

创建系统用户cloudera-scm

useradd --system --home=/opt/cloudera-manager/cm-5.16.2/run/cloudera-scm-server --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

创建server存储目录

mkdir /var/lib/cloudera-scm-server
chown cloudera-scm:cloudera-scm /var/lib/cloudera-scm-server

创建hadoop安装包存储目录

mkdir -p /opt/cloudera/parcels;
chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

配置agent的server指向

vi /opt/cloudera-manager/cm-5.16.2/etc/cloudera-scm-agent/config.ini
#将server_host修改为cloudera manager server的主机名,对于本示例而言，也就是server主机。

启动Cloudera Manager Agent

/opt/cloudera-manager/cm-5.16.2/etc/init.d/cloudera-scm-agent start

浏览器访问ip:7180

用户名：admin 密码：admin

到此为止，cloudera manager就安装完成。

在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述
在这里插入图片描述

问题解决

一、启动服务报错 pstree: 未找到命令
/opt/cm-5.16.2/etc/init.d/cloudera-scm-agent:行109: pstree: 未找到命令
/opt/cm-5.16.2/etc/init.d/cloudera-scm-server:行109: pstree: 未找到命令
原因：缺少psmisc工具
解决方法：yum install -y psmisc

二、HDFS namenode或datanode无法启动
删除全部节点的dfs目录：rm -rf dfs
在主节点以ROOT身份进行命名节点格式化：hadoop namenode -format
之后对dfs目录进行重新赋权：chown hdfs:hadoop -R /dfs/

三、hive客户端的hdfs权限认证问题

Permission denied: user=user, access=READ_EXECUTE, inode="/user/root":root:supergroup:drwx------

hadoop fs -chmod -R 777 /user

vi /etc/profile

添加：export HADOOP_USER_NAME=hdfs（hdfs为最高权限）

source /etc/profile

四、impala故障

select count(*) from impala_100yi;
Query: select count(*) from impala_100yi
Query submitted at: 2019-02-14 14:07:33 (Coordinator: http://cdh004:25000)
Query progress can be monitored at: http://cdh004:25000/query_plan?query_id=5248ba412c4dcffa:306f374700000000
WARNINGS: TransmitData() to 172.15.106.223:27000 failed: Invalid argument: Client connection negotiation failed: client connection to 172.15.106.223:27000: unable to find SASL plugin: PLAIN

问题处理

yum install gcc python-devel cyrus-sasl* -y

然后重启集群的agent和集群服务

五、变更cloudera-scm-server地址

关闭全部cloudera-scm-agent节点

/opt/cloudera-manager/cm-5.16.2/etc/init.d/cloudera-scm-agent stop

关闭原server节点

/opt/cloudera-manager/cm-5.16.2/etc/init.d/cloudera-scm-server stop

更变全部节点的server指向

vi /opt/cloudera-manager/cm-5.16.2/etc/cloudera-scm-agent/config.ini
#将server_host修改为cloudera manager server的主机名,对于本示例而言，也就是server主机

更改数据地址

cd /opt/cloudera-manager/cm-5.16.2/etc/cloudera-scm-server

在这里插入图片描述

# Auto-generated by scm_prepare_database.sh on 2020年 07月 14日 星期二 18:07:20 CST
#
# For information describing how to configure the Cloudera Manager Server
# to connect to databases, see the "Cloudera Manager Installation Guide."
#
com.cloudera.cmf.db.type=mysql
com.cloudera.cmf.db.host=S0
com.cloudera.cmf.db.name=scm
com.cloudera.cmf.db.user=root
com.cloudera.cmf.db.setupType=EXTERNAL
com.cloudera.cmf.db.password=1qaz@wsx

在变更后的server节点

/opt/cloudera-manager/cm-5.16.2/etc/init.d/cloudera-scm-server restart
/opt/cloudera-manager/cm-5.16.2/etc/init.d/cloudera-scm-agent restart

启动全部cloudera-scm-agent节点

/opt/cloudera-manager/cm-5.16.2/etc/init.d/cloudera-scm-agent start
【推广】 免费学中医，健康全家人
原文地址：https://www.cnblogs.com/gmhappy/p/13457022.html