spark 获取applicationID

在编写spark 程序时,有时需要获取job id 进行记录。 只需在程序中加入:

sc.applicationId
res0: String = app-20150224184813-11531

每个job提交后, 均有自己的监控页面。

采用spark restful api 监控job时,如:

curl 127.0.0.1:4040/api/v1/applications  时, 只能获取一个application的状态,这是因为,同时提交多个任务的的时候,默认的端口是从4040开始递增的,

即,第二个application 的端口是4041....

使用8080端口,即spark web的端口,可以列举所有的application,包括已经运行结束的。 若要查看某个具体的application的运行状态,

使用  

curl 127.0.0.1:8080/api/v1/applications/appid  即可。
原文地址:https://www.cnblogs.com/missmzt/p/6112276.html