spark 部署问题

spark的web UI 端口设置:spark-env.sh 中设置SPARK_MASTER_WEBUI_PORT 为自己想设置的端口号。

其他worker 的web UI 端口默认:8081

master 的默认监听端口:7077

spark 运行在yarn 集群上,在提交job 时要注明--master yarn-cluster

原文地址:https://www.cnblogs.com/eva_sj/p/6172262.html