K8s集群内的Prometheus抓取监测数据是通过servicemonitor这个crd来完成的。每个servicemonitor对应Prometheus中的一个target。每个servicemonitor对应一个或多个service，负责获取这些service上指定端口暴露的监测数据，并向Prometheus上报。
service是k8s集群内的资源。如果想让service对应集群外的应用，则必须手动创建endpoint。
下面以运行在集群外的某个机器上的gpu-exporter为例。
一、手动创建endpoint
gpu-exporter占用宿主机的9445端口，因此创建endpoint如下：
apiVersion: v1 kind: Endpoints metadata: name: gpu-data subsets: - addresses: - ip: [宿主机ip] ports: - port: 9445 name: gpu
注意，为了后面创建servicemonitor时使用，这里给port起一个名字。
二、创建service与endpoint绑定
创建与endpoint名字相同的service，则二者会自动绑定。
apiVersion: v1 kind: Service metadata: name: gpu-data labels: app: gpu-data spec: ports: - port: 9445 targetPort: 9445 name: gpu
注意，service的name字段必须与endpoint相同，并且下面port的name也需要相同。另外，需要为这个service配置一个label，以便后面servicemonitor进行筛选。
创建后，执行kubectl describe，看看service的endpoint字段是否已经显示为[宿主机ip]:9445。执行curl [service的ip]:9445，看看有没有监测数据的返回值。
三、创建servicemonitor
创建与service同名的servicemonitor：
apiVersion: monitoring.coreos.com/v1 kind: ServiceMonitor metadata: labels: app: prometheus prometheus: prometheus name: gpu-data spec: endpoints: - interval: 10s path: / targetPort: 9445 port: gpu jobLabel: k8s-app namespaceSelector: matchNames: - default selector: matchLabels: app: gpu-data
servicemonitor的label需要查看Prometheus中对应的servicemonitor字段：
kubectl get prometheus -n kube-system prometheus-operator-prometheus -o yaml
查看serviceMonitorSelector.matchExpressions字段中对应的key、value对，选出一对填写在metadata.labels中即可。
下面的spec.endpoint中，port填写前面service和endpoint中定义的port名字，path这里是/，因为gpu-exporter直接暴露在ip:9445/下。很多情况下会填写/metrics。
后面selector需要填写之前service定义的label。
创建后，查看Prometheus的页面，查找target，看看是否出现了default/gpu-data这一个target。
四、判断数据是否已经为Prometheus接受
可以直接通过http api判断：
curl [prometheus的pod或serviceip]:9090/api/v1/query?query=nvidia_gpu_memory_used_bytes
看看有无监测数据输出。
五、配置告警项
更进一步的，在Prometheus接收到监测数据后，可以配置相关的告警项，使GPU的告警数据可以被AlertManager接收到。
配置告警项通过创建Prometheusrule资源来实现。这里创建了GPU显存利用率超过90%告警的指标：
apiVersion: monitoring.coreos.com/v1 kind: PrometheusRule metadata: labels: app: prometheus-rules cato: node release: prometheus-operator name: gpu.alert namespace: kube-system spec: groups: - name: gpu.alert.rules rules: - alert: GPUMemUsageHigh annotations: description: 'instance: {{ $labels.instance }}, value: {{ $value }}' summary: GPU Memory Usage > 0.9 for 2m expr: nvidia_gpu_memory_used_bytes / 24032378880 > 0.9 for: 2m labels: severity: warning
其中，metadata.labels应该与prometheus的ruleSelector.matchLabels字段完全一致。通过以下命令查看ruleSelector.matchLabels字段，将其完全复制到prometheusrule中的metadata.labels字段中：
kubectl get prometheus -n kube-system -o yaml | grep ruleSelector -A 10
另外，gpu-exporter没有显存利用率指标，只有显存利用量，因此需要用nvidia_gpu_memory_used_bytes除以GPU卡的总显存量，以获取显存利用率指标。
创建prometheusrule后，查看prometheus的portal页面的targets栏，看看新创建的告警项是否已存在。