CDH搭建

参考:https://www.cnblogs.com/alexzhang92/p/11052365.html(以下简称“文件1”),这个文档写的还是很详细的,大体过程和我遇到的问题贴在下面了。

顺序:

1、几个节点host配置(127.0.0.1 localhost的那条不用注释,否则后面会报错)、ntp时间同步、免密认证等

2、文件准备yum源配置

下载路径:
http://archive.cloudera.com/cdh5/parcels/5.10/
http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10.0/RPMS/x86_64/  --http://archive.cloudera.com/cm5/redhat/6/x86_64/cm/5.10.0/下的repodata文件也下载到相应路径,要不后面yum源配置报错

yum源配置(安装参考https://www.cnblogs.com/zhxiaoxiao/p/10233135.html):

将cdh的parcel文件挂载到http服务器
http://192.168.xx.91/parcels/
cm的rpm包放在http下
http://192.168.xx.91/cm5/redhat/6/x86_64/cm/5.10/RPMS/x86_64/

后续安装的时候会遇到yum源问题,不知道为啥agent安装的时候,自动往服务器上/etc/yum.repo.d文件下创建新的yum源配置文件,导致安装报错,可以删掉。(下面的问题4)

配置yum源的目的是为了离线安装cm的服务端和客户端

[root@cm-1 yum.repos.d]# vi /etc/yum.repos.d/cloudera-manager.repo [cloudera-manager] name=Cloudera-Manager,version5.14.0 baseurl = http://192.168.xx.91/cm5/redhat/6/x86_64/cm/5.10 gpgcheck = 0

3、创建数据库mysql,创建CDH的元数据库和用户、amon服务的数据库及用户

create database cmf DEFAULT CHARACTER SET utf8;
create database amon DEFAULT CHARACTER SET utf8;
grant all on cmf.* TO 'cmf'@'%' IDENTIFIED BY 'mysql';
grant all on amon.* TO 'amon'@'%' IDENTIFIED BY 'mysql‘;

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'mysql' WITH GRANT OPTION; FLUSHPRIVILEGES;

GRANT ALL PRIVILEGES ON *.* TO cmf'@'%' IDENTIFIED BY 'mysql' WITH GRANT OPTION; FLUSHPRIVILEGES;

为cm创建驱动

mv mysql-connector-java-5.1.32.jar /usr/share/java [root@cm-1 ~]# cd /usr/share/java #重命名mysql驱动,一定要重命名 [root@cm-1 java]# mv mysql-connector-java-5.1.32.jar mysql-connector-java.jar

为cm创建连接信息,修改/etc/cloudera-scm-server/db.properties

没台主机安装oralce-jdk,修改环境变量等

4、安装cm-server 

yum install -y cloudera-manager-daemons-5.......rpm

yum install -y cloudera-manager-server-5.......rpm

启动:service cloudera-scm-server start

/var/log下查看日志

正常的话启动后页面登录:http://xx.xx.xx.91:7180/cmf/login  默认admin/admin

5、安装cm-agent 和cdh 可以参考文件1

启停

service cloudera-scm-agent stop/start/status

遇到问题:

1、页面上paracel包拷贝至几个节点时,加载不动:查看agent日志报错:。。。。。。[Errno -3] Temporary failure in name resolution

其实是host没配置好 每个节点127的不能注释。修改/etc/hosts

127.0.0.1   localhost localhost.localdomain localhost4 localhost4.localdomain4

::1         localhost localhost.localdomain localhost6 localhost6.localdomain6

127.0.0.1  localhost.node2

查看日志和页面都ok了

2、可以在创建好集群后在集群增加组建 如hdfs....不一定非得一步步装完。后续再页面增加完善启停都ok

贴一张图

3、页面提示“未能连接到host-monitor"如下:

配置cm service

 一步步操作即可。这一步是参考文件1中没有提到的

问题4、安装agent和cdh时报错

页面配置好parcels

 安装时报错

查看服务器上yum源repo文件,自动创建了clouera-cdh....repo并且将原来配置好的cloudera-manager.repo文件内容也给更改了。

将yum repo文件恢复原装,只保留cloudera-manager.repo文件,重新执行ok。

不知道这个地方为什么会这样,也不知道是否有别的方案或者我哪个地方操作有问题,最后我是使用这种方式解决了。

原文地址:https://www.cnblogs.com/zhxiaoxiao/p/12066298.html