从caffe2 开源的代码中抽取用于加载已训练神经网络参数,使用CPU进行预测的部分代码,并运行成功一个预测模型

配置过程使用的资源来源及版本信息:

pytorch 0.4.1
protobuf 2.7.0
openblas 0.3.5
eigen 最新版
opencv 4.0.1
squeezenet & imagenet_classes

各个资源的用途:

github 上开源了pytorch 的源码,其中的caffe2文件夹是框架的核心.
- 目前,官方github上只有v1.01和其他不知名的branch.
- 当时选择v0.4.1的原因是:新版本的caffe2代码引用了caffe2文件夹以外的代码,并且代码组织方式混乱,头文件内经常找不到类的定义. 此外,v1.01版caffe2 甚至修改了部分变量的名字,与caffe2官网提供的api不匹配.
protobuf是用于加载网络参数文件的接口.
- protobuf 主要用来定义结构化数据,将数据序列化.
- 可以用protobuf的语法快速定义数据格式并生成对应代码,支持c++,Javampython三种语言的api
- protobuf提供的序列化和反序列化接口使得它可以作为数据通信和数据存储的工具
- protobuf序列化的速度和空间利用率很高,相比xml和json 具有性能上绝对的优势
- protobuf 定义数据结构的语法很简单,一目了然,易于学习
openblas和eigen 是用于高效数学计算的库,caffe2用到这两个库做底层数学计算
opencv 主要用来读取和预处理图片,是边缘依赖
项目中运行的是squeezenet,使用了imagenet的分类结果

项目文件组织结构

-caffe2
    -core           /  最核心,最基础的部分.基本数据类型的定义,框架级的操作定义
    -operators      /   基本操作的定义,可按需增减.卷积,池化,交叉熵,dropout等
    -proto          / 定义一些重要的数据类型,如设备信息,网络结构,operator结构
    -utils          / 一些工具类.线程,数学计算,wrapper等
-Eigen          / 也可放在include文件夹内
-include
    -google
        -protobuf   / protobuf提供的接口
    -opencv2
-lib            / 链接库
init_net        /网络参数文件
predict_net     /网络结构定义文件
imagenet_classes.txt    /分类结果
imag.jpg        
demo.cpp        /用户代码

如果想使用不同版本的包,可按照包的功能更换文件夹和链接文件

对各个部分详细描述

protobuf和.proto文件

caffe2使用了protobuf作为数据交互的媒介,caffe2/proto文件夹内的.proto文件定义了用户能接触到的最重要的数据定义.

caffe2.proto文件的重要内容参考博客

syntax = "proto2";

package = caffe2;
// message相当于class 内部的定义和C++/Java类似
// required 必须含这个值
// optional 表示该值可有0或1个,repeated 表示该属性是可重复(数组/vector)
// 后面的 = num 表示该属性的标识 编码时[1,15]占1个字节,[16,2047]占2字节
enum DeviceType {
    CPU = 0;                    // In default, we will use CPU.
    CUDA = 1;                   // CUDA.
    MKLDNN = 2;                 // Reserved for explicit MKLDNN
    OPENGL = 3;                 // OpenGL
    OPENCL = 4;                 // OpenCL
    IDEEP = 5;                  // IDEEP.
    HIP = 6;                    // AMD HIP
    // Change the following number if you add more devices in the code.
    COMPILE_TIME_MAX_DEVICE_TYPES = 7;
    ONLY_FOR_TEST = 20901701;   // This device type is only for test.
}
message DeviceOption {
    optional int32 device_type = 1 [ default = 0 ]; // 0 is CPU.
    optional int32 cuda_gpu_id = 2;
    optional uint32 random_seed = 3;
    optional string node_name = 4;
    optional int32 numa_node_id = 5 [default = -1];
    repeated string extra_info = 6;
    optional int32 hip_gpu_id = 7;
}

message OperatorDef {
    repeated string input = 1; // the name of the input blobs
    repeated string output = 2; // the name of output top blobs
    optional string name = 3; // the operator name. This is optional.
    optional string type = 4;
    repeated Argument arg = 5;
    optional DeviceOption device_option = 6;
    optional string engine = 7;
    repeated string control_input = 8;
    optional bool is_gradient_op = 9 [default = false];
    optional string debug_info = 10;
}
// NetDef 是caffe2定义网络的完整类,一个参数文件就是一个NetDef对象序列化输出的结果
message NetDef {
    optional string name = 1; // the network's name
    // Operators that the network contains.
    repeated OperatorDef op = 2;    // 可以从参数文件中查看该网络用到的所有Operator
    optional string type = 3;
    optional int32 num_workers = 4 [deprecated=true];
    optional DeviceOption device_option = 5;    //使用CPU device_type = 0
    repeated Argument arg = 6;
    repeated string external_input = 7;
    repeated string external_output = 8;
}

参数文件有二进制和text两种,使用二进制的参数文件读写速度很快,二进制和text可以使用protobuf的接口进行转换.caffe2 model zool提供的是二进制的参数文件,将其转换为text可以看到网络的结构
protobuf可以将proto语言定义的数据类型转换为代码.将protobuf安装包编译成可执行文件,以此进行转换.二进制文件的名字为protoc.exe
转化为C++的指令: protoc --cpp_out=./ caffe2.proto 第二个参数:输出目录,第三个参数: 输入文件
编译protobuf:在protobuf下载目录下的cmake文件夹内的README.md 详细描述了编译C++版本的方法,不同版本的protobuf有细微差别.
- 大致过程:
- 打开Visual Studio 本机命令提示符
- cd cmake
- mkdir build & cd build
- mkdir release (debug)
- cd release
- cmake -G "NMake Makefiles" -DCMAKE_BUILD_TYPE=Release -DCMAKE_INSTALL_PREFIX=../../../../install ../.. 生成makefile
- nmake 生成可执行文件和lib文件
- nmake install 会在install文件夹内生成include , bin,lib文件夹
- 详情看README.md

caffe2抽取文件的方法

首先认识到core,operator,util,proto文件夹是必要的
core和util内的文件有很多的头文件引用,需要什么就找什么
不要加入不必要的文件 ,会造成额外的引用
看文件名的意义,推断文件的功能
编译出错误看源码,追踪需要的类等
operator中的方法是可拆卸的,首先选择最常见的操作直接加入,之后可以根据参数文件定义的操作名字选择添加

依赖的库文件汇总

Release 版本如下,Debug版本将其替换为debug版库文件
libprotobuf.lib
libprotobuf-lite.lib
libprotoc.lib // 三个都是编译protobuf获得
openblas.lib // 编译openblas获得
opencv_world401.lib //opencv 下载包内获得

编译openblas

参考博客
去openblas官网下载源文件
Perl 编译过程需要,可能需要FQ
在openblas 文件夹内新建build文件夹
使用cmake-gui 选择openblas和输出文件夹build
点击configure,完成后点击generate就会在build文件夹内生成VS项目sln
使用VS打开sln文件,点击生成,VS会编译出对应版本的库文件和dll文件
不同版本的openblas可能有所不同,有的会生成dll而有的不会.生成了dll需要将dll文件放到exe文件夹内或者添加到环境变量.

配置eigen

eigen是C++实现的矩阵运算库,没有任何依赖,只要包含头文件就可使用其功能
从eigen官网下载文件,将文件夹里的Eigen文件夹复制到项目的目录下,加入项目即可

配置opencv

下载opencv,将目录build/include内的opencv2文件夹复制到项目内
将build/x64/vc15/lib内的lib文件拷贝到项目内的lib目录下
这么做是为了使需要的资源都包括在项目内,当然可以通过配置项目包含目录和链接目录减少项目大小,但是,终归是要设置依赖,移植很麻烦

至此,项目中必须的文件获得方法都描述完成了,接下来介绍项目的配置要点

使用VS新建一个控制台项目
按照上述说明,将文件复制进项目内
在VS解决方案中,选择显示所有文件,右键这些文件夹,选择包括在项目中
在项目属性页面,不管是配置release还是debug,32位或是64位,统一的配置是:
- C/C++目录->常规->附加包含目录添加./;./include;
- 链接器->常规->链接库依赖项添加./lib;
- C/C++目录->常规->预处理器->预处理器定义编辑,添加一行_CRT_SECURE_NO_WARNINGS
- C/C++目录->常规->预编译头->设为不适用预编译头
debug版本和release版本的不同配置:
- C/C++ ->代码生成->运行库 release版本设为多线程(/MT),debug版本设为多线程调试(/MTD)
- 注意链接器引入lib的版本,release版本链接release版本的lib库,如果引入错误会发生无法解析的字符或者运行时错误等.
- 一定留意链接器->输入->附加依赖项中的lib , 点击右面的下拉框->编辑查看其引用的所有lib文件
- 先引入的lib文件会屏蔽后面同样作用的lib文件

参考示例代码C++ 预测(predict)Demo

代码中经测试无法正常工作的部分: ReadProtoFromFile ,从二进制文件读取参数失败,原因未知
修改方法:弃用ReadProtoFromFile(string , NetDef*),这个函数整合了ReadProtoFromBinaryFile 和 ReadProtoFromTextFile , 分开使用即可.
读取二进制参数文件可使用ReadProtoFromBinaryFile(string,NetDef*)
读取文本参数文件使用ReadProtoFromTextFile(string,NetDef*)
protobuf 提供的原始读取参数接口 :
使用bool message.ParseFromIstream(istream* input)读取参数文件
使用bool SerializeToOstream(ostream* output)const 写入文件流

github代码

lib文件没放全

落霞与孤鹜齐飞，秋水共长天一色

从caffe2 开源的代码中抽取 用于加载已训练神经网络参数,使用CPU进行预测的 部分代码,并运行成功一个预测模型

从caffe2 开源的代码中抽取 用于加载已训练神经网络参数,使用CPU进行预测的 部分代码,并运行成功一个预测模型

配置过程使用的资源来源及版本信息:

各个资源的用途:

项目文件组织结构

如果想使用不同版本的包,可按照包的功能更换文件夹和链接文件

对各个部分详细描述

protobuf和.proto文件

caffe2抽取文件的方法

依赖的库文件汇总

编译openblas

配置eigen

配置opencv

参考示例代码C++ 预测(predict)Demo

github代码

从caffe2 开源的代码中抽取用于加载已训练神经网络参数,使用CPU进行预测的部分代码,并运行成功一个预测模型

从caffe2 开源的代码中抽取用于加载已训练神经网络参数,使用CPU进行预测的部分代码,并运行成功一个预测模型