nvidia-smi可以监控gpu的使用情况，但是其输出内容较难解析，使用nvidia-smi query选项可以将想要的信息以csv文件的方式记录到文件，方便做监控或者一些分析:
参考文档：
https://nvidia.custhelp.com/app/answers/detail/a_id/3751/~/useful-nvidia-smi-queries
https://developer.download.nvidia.cn/compute/DCGM/docs/nvidia-smi-367.38.pdf
--query-gpu用于获取全局的gpu信息，可以使用选项--help-query-gpu查看帮助
--query-compute-apps用于获取每个进程的gpu使用信息，使用--help-query-compute-apps获取帮助