CM记录-升级Spark版本到2.x(转载)

①csd包:http://archive.cloudera.com/spark2/csd/    下载SPARK2_ON_YARN-2.2.0.cloudera1.jar

②parcel包:http://archive.cloudera.com/spark2/parcels/2.2.0.cloudera1/ 下载

SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el6.parcel

SPARK2-2.2.0.cloudera1-1.cdh5.12.0.p0.142354-el6.parcel.sha1  改为.sha

 manifest.json

注意,下载对应版本的包,我的CentOS7,所以下载el7的包,若是CentOS6,就要下el6的包。

特别注意,如果你安装spark2.1,按照上面下载就是了,注意一下操作系统的版本;如果你不打算安装spark2.1,想安装其他版本,比如2.0,那么一定要注意下面的事项:
如果你仔细浏览过这些路径,会发现下图中,csd和parcel包会有.clouderal1和.clouderal2之分,和2.0与2.1版本之分,那么在下载parcel时也要注意,下载对应的包。即如果下载到的是.clouderal1的csd包,下载parcel包也要下载文件名中是.clouderal1的包,不能下载.clouderal2的包,同时csd2.0的包也不能用于parcel2.1的包,不然很可能安不上
1.安装前可以停掉集群和Cloudera Management Service,也可以不停,但是待会还是要停止重启的。
2.下面的操作在每个CDH节点都要进行。
3.上传CSD包到机器的/opt/cloudera/csd目录,并且修改文件的用户和组。注意如果本目录下有其他的jar包,把删掉或者移到其他目录
chgrp cloudera-scm SPARK2_ON_YARN-2.1.0.cloudera1.jar
ls -la
4.上传parcel包到机器的/opt/cloudera/parcel-repo目录下。注意,。如果有其他的安装包,不用删除 ,但是如果本目录下有其他的重名文件比如manifest.json文件,把它重命名备份掉。然后把那3个parcel包的文件放在这里。
5.如果刚刚没有停掉CM和集群,现在将他们停掉。然后运行命令。
service cloudera-scm-agent restart
service cloudera-scm-server restart
这两个命令,只需要在CM server节点运行,并且按照官方来说只用运行第二个命令,但因为我安装失败过几次,这里都运行了,并且如果你安装失败,这里也可以两个命令都运行,并且如果多次失败,还可以尝试在所有CDH节点都运行一下,我是这么做了的
6.把CM和集群启动起来。然后点击主机->Parcel页面,看是否多了个spark2的选项。如下图,你这里此时应该是分配按钮,点击,等待操作完成后,点击激活按钮
7.激活后,点击你的群集-》添加服务,添加spark2服务。注意,如果你这里看不到spark2服务,就请检查你的CSD包和parcel包是否对应
原文地址:https://www.cnblogs.com/xinfang520/p/7879450.html