项目需求，有一个spark-streaming的程序，读kafka的数据，需要构建一个不使用hadoop的spark
以下建立的镜像参考网络，可以稍加修改就可以使用不同的版本。
可单独启动master,worker来构建一个standaline的集群。
也可以默认启动，启动后，构建的是一个master,两个worker的集群。
使用的文件如下：
start-spark spark-2.2.1-bin-hadoop2.7.tgz Dockerfile
#start-spark
#!/bin/bash
if [[ "${1}" = 'master' ]]; then
# Start Spark Master
spark-class org.apache.spark.deploy.master.Master -h $(hostname) 2>&1 >/data/sparklog-server.log
elif [[ "${1}" = 'worker' ]]; then
# Start Spark Worker
spark-class org.apache.spark.deploy.worker.Worker spark://$2:7077 2>&1 >/data/sparklog.log
else
#start master and two workers
nohup spark-class org.apache.spark.deploy.master.Master -h $(hostname) 2>&1 >>/data/sparklog-server.log &
#sleep 5 to wait spark-server start
sleep 3
nohup spark-class org.apache.spark.deploy.worker.Worker $(tail -n 1 /etc/hosts |awk '{print $1}'):7077 2>&1 >/data/sparkwlog1.log &
nohup spark-class org.apache.spark.deploy.worker.Worker $(tail -n 1 /etc/hosts |awk '{print $1}'):7077 2>&1 >/data/sparkwlog2.log
exit 1
fi
Dockerfile
FROM openjdk:8-jre MAINTAINER shyaoxh@cn.ibm.com WORKDIR spark COPY spark*.tgz ./ RUN tar zxf spark*.tgz && mv spark-2.2.1-bin-hadoop2.7/* ./ && rm -fr spark-2.2.1-bin-hadoop2.7 && rm spark*.tgz EXPOSE 6066 7077 8080 8081 # Copy start script COPY start-spark /usr/bin/start-spark RUN chmod +x /usr/bin/start-spark ENV SPARK_HOME /spark ENV PATH /spark/bin:$PATH ENV PATH /spark/sbin:$PATH #volume /data VOLUME /data #entrypoint CMD ["start-spark","all"]
使用方法：
构建 docker build -t spark .
1.启动master
#start spark master
注意：--net 是我自己已经创建的一个桥接网络
docker run --rm -it --name spark_master -p 7077:7077 -p 8080:8080 --net loginsight -h spark_master spark start-spark master
2.启动worker
docker run --rm -it --net loginsight --name spark_worker1 spark start-spark worker $(docker inspect -f '{{range .NetworkSettings.Networks}}{{.IPAddress}}{{end}}' spark_master)
3.默认启动
docker run --rm -it --name spark_master -p 7077:7077 -p 8080:8080 --net loginsight -h spark_master spark