去年写过一篇基于jmx监控的文章，这次在Openshift上实现，发现确实不少变化。主要重点问题在
1. prometheus jmx exporter的改进，不再需要运行一个独立的进程，不需要把数据输入到influxdb,
而是直接提供了prometheus数据。链接在
https://github.com/prometheus/jmx_exporter
2. OpenShift上采用prometheus Operator架构，内置了集群的监控指标，在此基础上如何集成客户化的监控数据。
接下来我们就看看具体的实现过程。
1. 针对应用镜像的修改
下载agent的jmx_prometheus_javaagent-0.12.0.jar包，具体链接在
https://github.com/prometheus/jmx_exporter
以tomcat为例，构建一个镜像
[root@master jmx]# ls catalina.sh config.yaml Dockerfile jmx_prometheus_javaagent-0.12.0.jar
Dockerfile
[root@master jmx]# cat Dockerfile FROM registry.example.com/tomcat:8-slim COPY *.* /usr/local/tomcat/bin/ CMD ["catalina.sh", "run"]
catalina.sh 是从镜像中拷贝出来的，修改了如下地方
CLASSPATH=/usr/local/tomcat/bin JAVA_OPTS="-javaagent:/usr/local/tomcat/bin/jmx_prometheus_javaagent-0.12.0.jar=8180:/usr/local/tomcat/bin/config.yaml $JAVA_OPTS $JSSE_OPTS"
因为缺省的8080和tomcat启动端口冲突，所以修改为8180
config.yaml, 最简单的配置，什么信息都获取
--- lowercaseOutputLabelNames: true lowercaseOutputName: true
然后构建部署
docker build -t registry.example.com/tomcatjmx:8-slim . docker push registry.example.com/tomcatjmx:8-slim oc import-image tomcatjmx:8-slim --from=registry.example.com/tomcatjmx:8-slim --confirm --insecure=true
完成后在myproject的image下看到有个tomcatjmx:8-slim
在service下开放8180端口，修改yaml文件，加入8180端口
- name: 8180-tcp port: 8180 protocol: TCP targetPort: 8180
然后应用镜像工作基本完成。
2.prometheus 添加target
OpenShift的 prometheus采用Operator进行部署，基于servicemonitor的模式对服务进行监控。
在OpenShift环境中内置了servicemonitor
[root@master jmx]# oc -n openshift-monitoring get servicemonitor NAME AGE alertmanager 175d cluster-monitoring-operator 175d etcd 6d kube-apiserver 175d kube-controllers 175d kube-state-metrics 175d kubelet 175d node-exporter 175d prometheus 175d prometheus-operator 175d
service monitor通过namespace确定工作范围，同时基于Label对服务(Service)进行监控
我们如果需要对自己的服务进行监控，就需要建立一个客户化的Service monitor
[root@master ~]# cat myservicemonitor.yaml apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: name: tomcatmonitor labels: k8s-app: tomcatmonitor namespace: openshift-monitoring spec: namespaceSelector: any: true selector: matchLabels: app: tomcatjmx endpoints: - interval: 30s path: /metrics port: 8180-tcp
比较核心的地方是selector, 决定对哪个服务进行监控，另外就是endpoint,针对哪个port获取指标。
创建后可以通过下面命令看到
[root@master ~]# oc -n openshift-monitoring get servicemonitor NAME AGE alertmanager 175d cluster-monitoring-operator 175d etcd 6d kube-apiserver 175d kube-controllers 175d kube-state-metrics 175d kubelet 175d node-exporter 175d prometheus 175d prometheus-operator 175d tomcatmonitor 1h
但这时候在prometheus的target上是看不到我们tomcatmonitor的，因为缺少了授权工作，添加RBAC的授权
oc adm policy add-cluster-role-to-user view system:serviceaccount:openshift-monitoring:prometheus-k8s
oc adm policy add-role-to-user view system:serviceaccount:openshift-monitoring:prometheus-k8s -n myproject
完成后，在prometheus target界面上看到tomcatjmx服务已经启动
转去指标界面看到一系列指标
3. 集成grafana
这部分工作比较耗时，主要是要找到合适的图标导入，
我在
https://grafana.com/grafana/dashboards?search=jmx
上找了好几个，最后发现 https://grafana.com/grafana/dashboards/8878
比较合适。导入后展现结果，好处是可以直接选择project,service，然后选择相应的pod
heap和non-heap的指标
GC time
改进：
可以让servicemonitor监听所有打了jmx: jvm标签的服务。这样只要在服务上加上标签，就可以被监控。
至此工作完成. Enjoy!