darknet简述

概述

darknet官网:https://pjreddie.com/darknet/    https://github.com/AlexeyAB/darknet

Darknet是一个比较小众的深度学习框架,没有社区,主要靠作者团队维护,所以推广较弱,用的人不多。而且由于维护人员有限,功能也不如tensorflow等框架那么强大,但是该框架还是有一些独有的优点:
1.易于安装:在makefile里面选择自己需要的附加项(cuda,cudnn,opencv等)直接make即可,几分钟完成安装;
2.没有任何依赖项:整个框架都用C语言进行编写,可以不依赖任何库,连opencv作者都编写了可以对其进行替代的函数;
3.结构明晰,源代码查看、修改方便:其框架的基础文件都在src文件夹,而定义的一些检测、分类函数则在example文件夹,可根据需要直接对源代码进行查看和修改;
4.友好python接口:虽然darknet使用c语言进行编写,但是也提供了python的接口,通过python函数,能够使用python直接对训练好的.weight格式的模型进行调用;
5.易于移植:该框架部署到机器本地十分简单,且可以根据机器情况,使用cpu和gpu,特别是检测识别任务的本地端部署,darknet会显得异常方便。

darknet是一个纯C的轻量级框架,专为Yolo设计,是yolo的最佳配合平台,可以体验yolo功能。

darknet目录

cfg文件夹内是一些模型的架构,每个cfg文件类似与caffe的prototxt文件,通过该文件定义的整个模型的架构。
data文件夹内放置了一些label文件,如coco9k的类别名等,和一些样例图(该文件夹主要为演示用,或者是直接训练coco等对应数据集时有用,如果要用自己的数据自行训练,该文件夹内的东西都不是我们需要的)
src文件夹内全是最底层的框架定义文件,所有层的定义等最基本的函数全部在该文件夹内,可以理解为该文件夹就是框架的源码
examples文件夹是更为高层的一些函数,如检测函数,识别函数等,这些函数直接调用了底层的函数,我们经常使用的就是example中的函数
include文件夹,顾名思义,存放头文件的地方
scripts文件夹中是一些脚本,如下载coco数据集,将voc格式的数据集转换为训练所需格式的脚本等
darknet.py是使用python对模型的调用方法,要实现python的调用,还需要用到darknet的动态库libdarknet.so

darknet编译

根据配置情况修改Makefile的相关参数,然后运行make即可。

GPU=1: build with CUDA to accelerate by using GPU (CUDA should be in /usr/local/cuda)
CUDNN: build with cuDNN v5-v7 to accelerate training by using GPU (cuDNN should be in /usr/local/cudnn)
CUDNN_HALF=1: build for Tensor Cores (on Titan V / Tesla V100 / DGX-2 and later) speedup Detection 3x, Training 2x
OPENCV=1: build with OpenCV 4.x/3.x/2.4.x - allows to detect on video files and video streams from network cameras or web-cams
DEBUG=1: build debug version of Yolo
OPENMP=1: build with OpenMP support to accelerate Yolo by using multi-core CPU

检验:./darknet detector test ./cfg/coco.data ./cfg/yolov3.cfg ./yolov3.weights data/dog.jpg

darknet命令

如果使用的是作者提供的cfg模型结构,如yolov3,那么可以到其官网去下载预训练模型(如:darknet53.conv.74)来初始化模型参数,这样可以加快收敛。

训练: darknet detector train data/obj.data yolo-obj.cfg darknet53.conv.74

无参考模型: darknet detector train data/obj.data yolo-obj.cfg

检测: darknet detector test data/obj.data yolo-obj.cfg yolo-obj_8000.weights

检测模型精确效果:darknet detector map data/obj.data yolo-obj.cfg yolo-obj_8000.weights

视频检测: darknet detector demo cfg/coco.data cfg/yolov3.cfg yolov3.weights my.mp4

默认第一个摄像头视频: darknet detector demo cfg/coco.data cfg/yolov3.cfg yolov3.weights

darknet配置文件解析

cfg/yolov3.cfg
[net]
# Testing
# batch=1
# subdivisions=1
# Training
batch=64
subdivisions=16
width=608
height=608
channels=3
momentum=0.9
decay=0.0005
angle=0
saturation = 1.5
exposure = 1.5
hue=.1

其中batch表示batchsize,而subdivisions是为了解决想要大batchsize而显存又不够的情况,每次代码只读取batchsize/subdivisions 个图像,如图中设置为64/16=4,但是会将16次的结果也就是64张图的结果,作为一个batch来统一处理。

根据自己检测的类别,将每个[yolo](共有三个[yolo])下方的classes修改为自己需要检测的类别,如果只检测一类则classes=1。
然后将每个[yolo] 上方的第一个filters的值进行修改,计算方式为(5+classes)*3,如果classes为1,则为18。

[yolo]下方的random表示论文中提及的resize network来增强网络的适应性,如果显存足够,最好设置为1,如果显存不够,也可以将其设置为0,即不进行network resizing

darknet训练参数解析

[to do]

Yolo_mark-标注工具

Windows & Linux GUI for marking bounded boxes of objects in images for training Yolo v3 and v2.
Yolo_mark是一个检测任务数据集制作工具,制作完成后的数据格式不是VOC或者COCO的数据格式,从它的名字也可以看出,它是专门为了YOLO系列的网络训练准备数据的,它没有使用任何一个已有的深度学习框架来实现他的代码,而是自己写了一个纯C的轻量级框架—darknet,所以它的训练数据准备也不是按照标准开源数据集那样的格式。

参考官网:https://github.com/AlexeyAB/Yolo_mark

编译

Yolo_mark依赖opencv,ubuntu16.04下需要更新opencv版本,默认版本编译出错。现测试了opencv-3.4.8可正常运行。

mkdir build
cd build
cmake ..
make
cd ..
cp build/yolo_mark ..

目录

├── CMakeLists.txt
├── LICENSE
├── linux_mark.sh
├── main.cpp
├── README.md
├── x64
│   └── Release
│       ├── data
│       │   ├── img
│       │   │   ├── air1.jpg
│       │   │   ├── air1.txt
│       │   │   ├── air2.jpg
│       │   │   ├── air2.txt
│       │   │   ├── air3.jpg
│       │   │   ├── air3.txt
│       │   │   ├── air4.jpg
│       │   │   ├── air4.txt
│       │   │   ├── air5.jpg
│       │   │   ├── air5.txt
│       │   │   ├── air6.jpg
│       │   │   ├── air6.txt
│       │   │   ├── bird1.jpg
│       │   │   ├── bird1.txt
│       │   │   ├── bird2.jpg
│       │   │   ├── bird2.txt
│       │   │   ├── bird3.jpg
│       │   │   ├── bird3.txt
│       │   │   ├── bird4.jpg
│       │   │   └── bird4.txt
│       │   ├── obj.data
│       │   ├── obj.names
│       │   └── train.txt
│       ├── train_obj.cmd
│       ├── yolo_mark.cmd
│       └── yolo-obj.cfg
├── yolo_mark
├── yolo_mark.sln
└── yolo_mark.vcxproj

x86/Release/data: 存放需要标注的数据与标注后的结果。

x86/Release/data/img: 训练的数据集,里面包含图片和每一张图片对应的标注数据。开始标注之前,img文件夹内只存放需要标注的图像数据(要求.jpg文件),一张图片标注完成后,会给该图片生成一个名字相同的.txt文件,里面存放的就是bbox的信息。

x86/Release/data/img/*.txt: 每一行都是一个目标的信息,这意味着有几行数据,图像中就标注了几个目标,它根据“id x y w h”的形式存放,其中“ x y w h”都是经过归一化之后的。比如bird4.txt文件中的结果(bird的id是1,有一个目标因此只有一行):
1 0.526953 0.502083 0.303906 0.226389

x86/Release/data/train.txt: 数据集的相对路径集合,由img文件夹内存放的数据自动获取。

x64/Release/data/img/air1.jpg
x64/Release/data/img/air2.jpg
x64/Release/data/img/air3.jpg
x64/Release/data/img/air4.jpg
x64/Release/data/img/air5.jpg
x64/Release/data/img/air6.jpg
x64/Release/data/img/bird1.jpg
x64/Release/data/img/bird2.jpg
x64/Release/data/img/bird3.jpg
x64/Release/data/img/bird4.jpg

x86/Release/data/obj.names: 数据集所有分类类名,每个类别的名称都在单独的一行,行数与名称一一对应。示例中有两个类别:air,bird。

air
bird

x86/Release/data/obj.data: 数据集的配置信息:类别数量,训练和测试数据的txt文件列表,各个类别的名字。

classes= 2
train  = data/train.txt
valid  = data/train.txt
names = data/obj.names
backup = backup/

标注命令

./yolo_mark x64/Release/data/img x64/Release/data/train.txt x64/Release/data/obj.names

训练命令

拷贝yolo-obj.cfg, data/train.txt, data/obj.names, data/obj.data, darknet19_448.conv.23 and data/img到可执行文件darknet目录

darknet detector train data/obj.data yolo-obj.cfg darknet19_448.conv.23

参考:
1. YOLOv3树叶识别实践 https://wenku.baidu.com/view/e4e9a41ef4335a8102d276a20029bd64793e626f.html
2. 理解YOLOv2训练过程中输出参数含义 https://blog.csdn.net/dcrmg/article/details/78565440
https://timebutt.github.io/static/understanding-yolov2-training-output/
3. YOLOv3训练自己的模型 https://blog.csdn.net/StrongerL/article/details/81023603
4. darknet的编译和YOLO在不同编译条件的运行速度对比 https://www.jianshu.com/p/c2a90b89fc21
5. Darknet概述 https://blog.csdn.net/u010122972/article/details/83541978
6. https://github.com/AlexeyAB/Yolo_mark

7. YOLO系列网络训练数据准备工具—Yolo_mark https://blog.csdn.net/chaipp0607/article/details/80009195 

原文地址:https://www.cnblogs.com/embedded-linux/p/12374634.html