安装部署NVIDIA TensorRT

下载文件

https://developer.nvidia.com/nvidia-tensorrt-download

用tensorrt-5 为例

下载对应的tar包即可

• TensorRT 5.1.5.0 GA for Ubuntu 18.04 and CUDA 10.1 tar package

解压包

tar xzvf TensorRT-5.1.5.0.Ubuntu-18.04.2.x86_64-gnu.cuda-10.1.cudnn7.5.tar.gz

配置环境变量

export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/root/TensorRT-5.1.5.0/lib

装TensorRT

cd /root/TensorRT-5.1.5.0

选择对应版本的python安装

pip install python/tensorrt-5.1.5.0-cp36-none-linux_x86_64.whl

# 安装UFF,支持tensorflow模型转化 。按需装即可

pip install  uff/uff-0.6.3-py2.py3-none-any.whl

安装graphsurgeon，支持自定义结构

pip install graphsurgeon/graphsurgeon-0.4.1-py2.py3-none-any.whl

复制rt的头文件和库文件到系统，有些软件会依赖这些

1. sudo cp -r ./lib/* /usr/lib

2. sudo cp -r ./include/* /usr/include

编译测试文件

(openpose) root@ai:~/TensorRT-5.1.5.0# cd samples/
(openpose) root@ai:~/TensorRT-5.1.5.0/samples# make

(openpose) root@ai:~/TensorRT-5.1.5.0/bin# ./sample_int8 mnist

python导入测试即可

python -c "import tensorrt"