geotrellis使用(二十五)将Geotrellis移植到spark2.0

目录

  1. 前言
  2. 升级spark到2.0
  3. 将geotrellis最新版部署到spark2.0(CDH)
  4. 总结

一、前言

       事情总是变化这么快,前面刚写了一篇博客介绍如何将geotrellis移植导CDH中(见geotrellis使用(二十四)将Geotrellis移植到CDH中必须要填的若干个坑),刚各种折腾几天,就又跑不起来了,查找一番,发现是由于将geotrellis升级到最新版造成的,所以不得不赶紧再救火。原来是最新版以及以后的版本geotrellis都不再支持spark2.0以下版本,没办法只能升级了。本文为大家简单介绍如何在cloudera中将spark版本升级到2.0,以及在部署到spark2.0(CDH)中的一些问题及解决方案。

二、升级spark到2.0

2.1 将集群的JDK版本升级到1.8

       最新版的geotrellis不再支持jdk1.8以下版本,所以需要将集群的运行jdk升级到1.8,就是要将cloudera的集群jdk升级到1.8。详情见http://bigdatafan.blogspot.jp/2016/05/upgrade-java-to-jdk-8-on-cloudera-cdh.html,文章里面写的很清楚,不再赘述。

2.2 将集群的spark版本升级到2.0

       这里与其说是升级倒不如说是重新安装一套,cdh5.9以上版本可能才会支持spark2.0,目前只能是在cloudera中添加一个2.0的beta版。详情参考https://blog.cloudera.com/blog/2016/09/apache-spark-2-0-beta-now-available-for-cdh/,同样本文不再赘述。需要强调的是安装完后提交spark2.0的程序就需要改用spark2-submit。

三、将geotrellis最新版部署到spark2.0(CDH)

       目前geotrellis最新版为1.0.0-40a2f7a,该版本相较以前有了较大的变化,并且使用了spark2.0之后性能确实有所提高。在升级过程中发现如下问题:

3.1 整体sbt依赖

       依赖基本不变,需要变的地方为:geotrellis版本变为1.0.0-40a2f7a,spark的版本需要改为2.0.0,添加akka依赖,scalaVersion变为2.11.8(2.11以上版本)。

3.2 akka版本问题

       在上一篇文章中讲到通过测试发现akka版本对程序运行没有影响,但是在2.0版需要将akka的版本降到2.4以下,否则启动会报错。

3.3 spray版本问题

       上一篇文章中测试发现spray版本必须降到1.2.3,否则会报错,但是在2.0版这个问题又不存在了,直接使用最新版即可。

四、总结

       本文简单为大家介绍了将geotrellis程序部署到spark2.0中遇到的几个问题及解决方案,其他不多说,如果有遇到相关问题的,欢迎交流、共同学习。

Geotrellis系列文章链接地址http://www.cnblogs.com/shoufengwei/p/5619419.html

原文地址:https://www.cnblogs.com/shoufengwei/p/5978669.html