TensorRT caffemodel serialize序列化

1、TensorRT的需要的文件 
需要的基本文件(不是必须的) 
1>网络结构文件(deploy.prototxt) 
2>训练的权重模型(net.caffemodel) 
TensorRT 2.0 EA版中的sampleMNISTAPI和TensorRT 1.0中的sampleMNISTGIE 几乎没有变化,就是不使用caffemodel 文件构建network 的例子。 
2、TensorRT支持的层 
Convolution: 2D 
Activation: ReLU, tanh and sigmoid 
Pooling: max and average 
ElementWise: sum, product or max of two tensors 
LRN: cross-channel only 
Fully-connected: with or without bias 
SoftMax: cross-channel only 
Deconvolution 
对于TensorRT 不支持的层,可以先将支持的层跑完,然后将输出作为caffe的输入,用caffe再跑,V1不支持TensorRT 和caffe同时工作,V2支持。(例子NVIDIA正在做,后期可能会上传github) 
3、TensorRT 处理流程 
基本处理过程:1>caffe model 转化 gie的model,或者从磁盘或者网络加载gie可用的model;2>运行GIE引擎(数据提前copy到GPU中);3>提取结果

https://developer.nvidia.com/tensorrt

https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html

https://docs.nvidia.com/deeplearning/sdk/index.html

https://docs.nvidia.com/deeplearning/sdk/tensorrt-developer-guide/index.html#samples

https://www.cnblogs.com/bonelee/p/8311445.html

https://blog.csdn.net/xh_hit/article/details/82917948

https://blog.csdn.net/xh_hit/article/details/82918162

https://github.com/haoxurt/tensorRT_save_serialization

Serializing A Model In C++

原文地址:https://www.cnblogs.com/happyamyhope/p/10069705.html