livy安装与部属

学一个东西，首先看它的官网

http://livy.incubator.apache.org/

Livy支持从Web /移动应用程序提供程序化，容错，多租户提交Spark作业（无需Spark客户端）。因此，多个用户可以同时可靠地与您的Spark集群进行交互。

我们实际环境主要为hue和griffin提交spark任务。因为hue为多租户模式，所以需要通过hdfs用户部署启动livy，我也不知道为什么，emm

官方快速安装文档如下：

http://livy.incubator.apache.org/get-started/

在实际配置中的环境参数如下：

环境：redhat7.3  CDH5.15.1   hdfs用户安装  spark2.3基于yarn模式

CDH5.15.1中spark2.3的安装目录和Hadoop目录如下

HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop

SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809/lib/spark2

一、解压livy
cd  /cslc/dip001/
unzip xxx.zip
cd  $LIVY_HOME
mkdir log
mkdir tmp        
cd conf/

cp livy-env.sh.template livy-env.sh
cp spark-blacklist.conf.template spark-blacklist.conf
cp livy.conf.template livy.conf
二、修改配置文件
vim livy.conf

livy.spark.master = yarn
livy.spark.deploy-mode = cluster
livy.environment = production    
livy.impersonation.enabled = true
livy.server.port = 8998
livy.server.session.timeout = 3600000
livy.server.recovery.mode = recovery
livy.server.recovery.state-store=filesystem
livy.server.recovery.state-store.url=/cslc/dip001/livy-0.5.0-incubating-bin/tmp


vim livy-env.sh

export JAVA_HOME=/opt/cslc/jdk1.8.0_151
export HADOOP_HOME=/opt/cloudera/parcels/CDH/lib/hadoop
export SPARK_CONF_DIR=/etc/spark2/conf
export SPARK_HOME=/opt/cloudera/parcels/SPARK2-2.3.0.cloudera3-1.cdh5.13.3.p0.458809/lib/spark2
export HADOOP_CONF_DIR=/etc/hadoop/conf
export LIVY_LOG_DIR=/cslc/dip001/livy-0.5.0-incubating-bin/log
export LIVY_SERVER_JAVA_OPTS="-Xmx2g"
三、启动：
使用hdfs用户启动 ：
/opt/cloudera/livy-0.5.0-incubating-bin/bin/livy-server start