CDH的介绍和部署

CDH:全称Cloudera’s Distribution Including Apache Hadoop。


CDH版本衍化

hadoop是一个开源项目,所以很多公司在这个基础进行商业化,Cloudera对hadoop做了相应的改变。

Cloudera公司的发行版,我们将该版本称为CDH(Cloudera Distribution Hadoop)。

Apache Hadoop 不足之处:

版本管理混乱
部署过程繁琐、升级过程复杂
兼容性差
安全性低

Hadoop 发行版:

Apache Hadoop
Cloudera’s Distribution Including Apache Hadoop(CDH)
Hortonworks Data Platform (HDP) 
MapR
EMR

Cloudera's Distribution, including Apache Hadoop(CDH):

是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的Apache Hadoop构建
提供了Hadoop的核心
可扩展存储
分布式计算
基于Web的用户界面

CDH的优点:

版本划分清晰
版本更新速度快
支持Kerberos安全认证
文档清晰
支持多种安装方式(Cloudera Manager方式)

安装方式有:

Cloudera Manager
Yum
Rpm
Tarball

网址:

CDH5.4
http://archive.cloudera.com/cdh5/
 
Cloudera Manager5.4.3:
http://www.cloudera.com/downloads/manager/5-4-3.html

安装:

首先准备三台虚拟机:

这给出的内存已经很少了,因为只是模拟,在公司里面,都是物理,内存都是64以上的。。
还有:
首先得在你安装的磁盘中空闲出最少50g的内存,如:

我现在三台虚拟机什么都没装,也没启动,先启动,

它会先开辟预存12g占位,这还算少的了。。。。
 
启动后配置好静态IP,这个以前的文章有,然后开始SSH免密钥登录。
三台虚拟机,先把ssh给打理出来。

然后在node07上自己免密自己,在08上免密07.
最后拷贝公钥文件到06和08:
scp authorized_keys node06:`pwd`

然后配置好后安装JDK:

https://www.cnblogs.com/underwing/p/linux-an-zhuang-rpm-dejdk.html

然后记得对上ntp时间。

在安装mysql:

安装完成之后启动:

复制刚才那个路径;设置密码

GRANT ALL PRIVILEGES ON *.* TO 'root'@'%' IDENTIFIED BY 'root' WITH GRANT OPTION;

之后三台虚拟机的~下执行命令:

yum install -y chkconfig python bind-utils psmisc libxsltzlib sqlite cyrus-sasl-plain  cyrus-sasl-gssapi fuse fuse-libs redhat-lsb

安装Cloudera Manager Server、Agent

所有节点创建:

然后上传文件:

文件:

链接:

提取码:wm3b

上传后解压:

解压后:

之后给所有节点创建用户:

useradd --system --no-create-home --shell=/bin/false --comment "Cloudera SCM User" cloudera-scm

创建Parcel目录,Server节点(node06):

mkdir -p /opt/cloudera/parcel-repo

chown cloudera-scm:cloudera-scm /opt/cloudera/parcel-repo

 

Agent节点(所有节点):

mkdir -p /opt/cloudera/parcels

chown cloudera-scm:cloudera-scm /opt/cloudera/parcels

配置CM Server数据库:

拷贝mysql jar文件到目录 /usr/share/java/(没有就创建)

导入mysql,注意jar包名称要修改为mysql-connector-java.jar

连接mysql,创建一个用户:

grant all on *.* to 'temp'@'%' identified by 'temp' with grant option;

cd /opt/cloudera-manager/cm-5.4.3/share/cmf/schema/

./scm_prepare_database.sh mysql temp -h node06 -utemp -ptemp --scm-host node06 scm scm scm

启动CM Server、Agent:

cd /opt/cloudera-manager/cm-5.4.3/etc/init.d/

./cloudera-scm-server start

Sever首次启动会自动创建表以及数据,不要立即关闭或重启,否则需要删除所有表及数据重新安装

然后在所有节点上启动agent:

./cloudera-scm-agent start

格式:数据库类型、数据库、数据库服务器、用户名、密码、cm server服务器

启动时间,短至几分钟,长至十几二十分钟,看电脑配置而定

出现这个端口代表你可以访问了,

然后就可以安装你想要安装的了,

模拟的话我们就只安装几个就好了,我内存也不大,就16g,上面很多都直接能把我安蹦的

这是根据你节点分配的,没什么要改的(在公司不一样),一直继续,

如果其中失败了,就去诊断看原因,去首页,找到安装那个配置,去看下。

原文地址:https://www.cnblogs.com/gaoyanbing/p/13433755.html