1. 安装darknet
使用Git克隆源码
git clone https://github.com/pjreddie/darknet
我们可能需要修改Makefile，主要修改前三行，配置使用GPU(CUDA)，CUDNN，OPENCV
GPU=1 CUDNN=1 OPENCV=1
之后运行
make -j8 wget https://pjreddie.com/media/files/yolov3.weights ./darknet detect cfg/yolov3.cfg yolov3.weights data/dog.jpg
安装成功！
2. 准备数据集
使用LabelImg工具对图片进行标注，LabelImg安装和使用方法请自行百度。标注完成后得到两个文件夹Annotations和JPEGImages，分别存放xml格式标注内容和图片。
在scripts文件夹下构建目录树
mkdir -p scripts/VOCdevkit/VOC2007 cd scripts/VOCdevkit/VOC2007 mkdir ImageSets cd ImageSets mkdir Layout Main Segmentation
此时scripts文件夹下目录树应当为：
然后将Annotations和JPEGImages文件夹复制到VOC2007目录下
值得注意的是，VOC2007的年份2007应当和xml标注文件中的年份相同
接下来把traindata.py和trans.py拷贝到VOC2007目录下
其中traindata.py内容是：
#!/usr/bin/env python3
import os
import shutil
def rename_by_count(path): #按序号命名
count = 1000
filelist = os.listdir(path) # 该文件夹下所有的文件（包括文件夹）
for files in filelist: # 遍历所有文件
Olddir = os.path.join(path, files) # 原来的文件路径
if os.path.isdir(Olddir): # 如果是文件夹则跳过
continue
filename = os.path.splitext(files)[0] # 文件名
filetype = os.path.splitext(files)[1] # 文件扩展名
Newdir = os.path.join(path, str(count) + filetype) # 新的文件路径
os.rename(Olddir, Newdir) # 重命名
count += 1
def listname(path,idtxtpath):
filelist = os.listdir(path) # 该文件夹下所有的文件（包括文件夹）
f = open(idtxtpath, 'w')
for files in filelist: # 遍历所有文件
Olddir = os.path.join(path, files) # 原来的文件路径
if os.path.isdir(Olddir): # 如果是文件夹则跳过
continue
filename = os.path.splitext(files)[0] # 文件名
filetype = os.path.splitext(files)[1] # 文件扩展名
#Newdir = os.path.join(path, "1000" + filetype) # 新的文件路径: path+filename+type
f.write(filename)
f.write('
')
f.close()
def imgid_list(imgpath, savepath, num):
#rename_by_count(imgpath)
path1 = savepath + "/validateImage"
path2 = savepath + "/trainImage"
if os.path.exists(path1)== False:
os.mkdir(path1)
if os.path.exists(path2) == False:
os.mkdir(path2)
xmlpath1 = savepath + "/validateImageXML"
xmlpath2 = savepath + "/trainImageXML"
if os.path.exists(xmlpath1)== False:
os.mkdir(xmlpath1)
if os.path.exists(xmlpath2) == False:
os.mkdir(xmlpath2)
filelist = os.listdir(imgpath)
count = 0
for files in filelist:
olddir = os.path.join(imgpath, files)
newdir1 = os.path.join(path1, files)
newdir2 = os.path.join(path2, files)
filename = os.path.splitext(files)[0] # 文件名
xmldir = savepath + "/xml"
xmldir1 = savepath + "/validateImageXML"
xmldir2 = savepath + "/trainImageXML"
if count<num:
shutil.copy(olddir, newdir1) #validate
xmlolddir = os.path.join(xmldir, filename + ".xml")
xmlnewdir = os.path.join(xmldir1,filename+".xml")
shutil.copy(xmlolddir,xmlnewdir)
shutil.copy(xmlolddir, newdir1)
else:
shutil.copy(olddir, newdir2)
xmlolddir = os.path.join(xmldir, filename + ".xml")
xmlnewdir = os.path.join(xmldir2, filename + ".xml")
shutil.copy(xmlolddir, xmlnewdir)
shutil.copy(xmlolddir, newdir2)
count=count+1
imgidtxtpath1 = savepath + "/validateImageId.txt"
imgidtxtpath2 = savepath + "/trainImageId.txt"
listname(path1, imgidtxtpath1)
listname(path2, imgidtxtpath2)
#rename_by_count # 给图片按序号给名字
savepath = os.getcwd()
imgpath = savepath+"/Image"
val_num=30 #验证集数量，可修改
imgid_list(imgpath,savepath,val_num)
trans.py内容是：
#!/usr/bin/env python3
import xml.etree.ElementTree as ET
import pickle
import string
import os
import shutil
from os import listdir, getcwd
from os.path import join
sets=[('2007', 'train'), ('2007', 'val')]
classes = ["railway_ticket", "vat_invoice"]
def convert(size, box):
dw = 1./size[0]
dh = 1./size[1]
x = (box[0] + box[1])/2.0
y = (box[2] + box[3])/2.0
w = box[1] - box[0]
h = box[3] - box[2]
x = x*dw
w = w*dw
y = y*dh
h = h*dh
return (x,y,w,h)
def convert_annotation(image_id,flag,savepath):
#s = 'xefxbbxbf'
#nPos = image_id.index(s)
#if nPos >= 0:
# image_id = image_id[3:]
if flag == 0:
in_file = open(savepath+'/trainImageXML/%s.xml' % (image_id))
labeltxt = savepath+'/trainImageLabelTxt';
if os.path.exists(labeltxt) == False:
os.mkdir(labeltxt);
out_file = open(savepath+'/trainImageLabelTxt/%s.txt' % (image_id), 'w')
tree = ET.parse(in_file)
root = tree.getroot()
size = root.find('size')
w = int(size.find('width').text)
h = int(size.find('height').text)
elif flag == 1:
in_file = open(savepath+'/validateImageXML/%s.xml' % (image_id))
labeltxt = savepath + '/validateImageLabelTxt';
if os.path.exists(labeltxt) == False:
os.mkdir(labeltxt);
out_file = open(savepath+'/validateImageLabelTxt/%s.txt' % (image_id), 'w')
tree = ET.parse(in_file)
root = tree.getroot()
size = root.find('size')
w = int(size.find('width').text)
h = int(size.find('height').text)
for obj in root.iter('object'):
difficult = obj.find('difficult').text
cls = obj.find('name').text
if cls not in classes or int(difficult) == 1:
continue
cls_id = classes.index(cls)
xmlbox = obj.find('bndbox')
b = (float(xmlbox.find('xmin').text), float(xmlbox.find('xmax').text), float(xmlbox.find('ymin').text), float(xmlbox.find('ymax').text))
bb = convert((w,h), b)
out_file.write(str(cls_id) + " " + " ".join([str(a) for a in bb]) + '
')
wd = getcwd()
for year, image_set in sets:
#savepath = "/home/wurui/CAR/wrz/pillar";
savepath = os.getcwd();
idtxt = savepath + "/validateImageId.txt";
pathtxt = savepath + "/validateImagePath.txt";
image_ids = open(idtxt).read().strip().split()
list_file = open(pathtxt, 'w')
s = 'xefxbbxbf'
for image_id in image_ids:
nPos = image_id.find(s)
if nPos >= 0:
image_id = image_id[3:]
list_file.write('%s/validateImage/%s.jpg
' % (wd, image_id))
print(image_id)
convert_annotation(image_id, 1, savepath)
list_file.close()
idtxt = savepath + "/trainImageId.txt";
pathtxt = savepath + "/trainImagePath.txt" ;
image_ids = open(idtxt).read().strip().split()
list_file = open(pathtxt, 'w')
s = 'xefxbbxbf'
for image_id in image_ids:
nPos = image_id.find(s)
if nPos >= 0:
image_id = image_id[3:]
list_file.write('%s/trainImage/%s.jpg
'%(wd,image_id))
print(image_id)
convert_annotation(image_id,0,savepath)
list_file.close()
首先拷贝Annotations文件夹为xml，拷贝JPEGImages为Image
修改traindata.py中验证集数量val_num，推荐为总数据集的30%，修改trans.py中的sets和classes
执行
python3 traindata.py python3 trans.py
将生成的trainImageID.txt和validateImageID.txt拷贝到ImageSets的Main目录下，并分别重命名为train.txt和val.txt，删除执行traindata.py和trans.py生成的所有文件和文件夹以及xml和Image文件夹
回到scripts文件夹
修改voc_label.py，修改sets和classes的值，
sets=[('2007', 'train'), ('2007', 'val')]
classes = ["railway_ticket", "vat_invoice"]
并将最后的两行
os.system("cat 2007_train.txt 2007_val.txt 2012_train.txt 2012_val.txt > train.txt")
os.system("cat 2007_train.txt 2007_val.txt 2007_test.txt 2012_train.txt 2012_val.txt > train.all.txt")
改成
os.system("cat 2007_train.txt 2007_val.txt > train.txt")
#os.system("cat 2007_train.txt 2007_val.txt 2007_test.txt 2012_train.txt 2012_val.txt > train.all.txt")
最后执行
python3 voc_label.py
至此，数据集准备完毕
3. 修改配置文件
回到darknet根目录下
3.1 data/
修改voc.names
修改为需要识别的类名称，每行一类
3.2 cfg/
修改yolov3.cfg
[net]
# Testing 初始batch参数要分为两类，分别为训练集和测试集，不同模式相应放开参数，#为注释符号
#batch=1
#subdivisions=1
# Training
batch=64 一批训练样本的样本数量，每batch个样本更新一次参数
subdivisions=8 batch/subdivisions作为一次性送入训练器的样本数量
如果内存不够大，将batch分割为subdivisions个子batch
（subdivisions相当于分组个数，相除结果作为一次送入训练器的样本数量）
注意：上面这两个参数如果电脑内存小，则把batch改小一点，batch越大，训练效果越好
Subdivisions越大，可以减轻显卡压力（分组数目越多，每组样本数量则会更少，显卡压力也会相应减少）
width=416
height=416
channels=3
以上三个参数为输入图像的参数信息 width和height影响网络对输入图像的分辨率，从而影响precision，只可以设置成32的倍数（为什么是32？由于使用了下采样参数是32，所以不同的尺寸大小也选择为32的倍数{320，352…..608}，最小320*320，最大608*608，网络会自动改变尺寸，并继续训练的过程。）
momentum=0.9 DeepLearning1中最优化方法中的动量参数，这个值影响着梯度下降到最优值得速度 （注：SGD方法的一个缺点是其更新方向完全依赖于当前batch计算出的梯度，因而十分不稳定。Momentum算法借用了物理中的动量概念，它模拟的是物体运动时的惯性，即更新的时候在一定程度上保留之前更新的方向，同时利用当前batch的梯度微调最终的更新方向。这样一来，可以在一定程度上增加稳定性，从而学习地更快，并且还有一定摆脱局部最优的能力）
decay=0.0005 权重衰减正则项，防止过拟合，正则项往往有重要意义
//增加样本的数量，改变基础样本的状态，去增加样本整体的数量，增加样本量减少过拟合
angle=0 通过旋转角度来生成更多训练样本
saturation = 1.5 通过调整饱和度来生成更多训练样本
exposure = 1.5 通过调整曝光量来生成更多训练样本
hue=.1 通过调整色调来生成更多训练样本
learning_rate=0.001
学习率决定着权值更新的速度，设置得太大会使结果超过最优值，直接错过最优值，震荡回去，太小会使下降速度过慢，导致收敛过慢。如果仅靠人为干预调整参数，需要不断修改学习率。刚开始训练时可以将学习率设置的高一点，而一定轮数之后，将其减小。在训练过程中，一般根据训练轮数设置动态变化的学习率。
基本训练守则
刚开始训练时：学习率以 0.01 ~ 0.001 为宜。
一定轮数过后：逐渐减缓。
接近训练结束：学习速率的衰减应该在100倍以上。
提供参考资料学习率的调整参考https://blog.csdn.net/qq_33485434/article/details/80452941
burn_in=1000 在迭代次数小于burn_in时，其学习率的更新有一种方式，大于burn_in时，才采用policy的更新方式
max_batches = 500200 训练达到max_batches后停止学习，多个batches
policy=steps 这个是学习率调整的策略，有policy：constant, steps, exp, poly, step, sig, RANDOM，constant等方式
调整学习率的policy，有如下policy：constant, steps, exp, poly, step, sig, RANDOM
constant
保持学习率为常量，caffe里为fixed
steps
比较好理解，按照steps来改变学习率
Steps和scales相互一一对应
steps=40000,45000 下面这两个参数steps和scale是设置学习率的变化，比如迭代到40000次时，学习率衰减十倍。45000次迭代时，学习率又会在前一个学习率的基础上衰减十倍。根据batch_num调整学习率
scales=,.1,.1 学习率变化的比例，累计相乘
涉及几个参数（以后要学习的代码，具体参数可以调节）
exp
gamma=
返回base_lr*gamma^iter,iter为当前迭代次数，gamma设置为0.98
poly
power=4
max_batches=800000
对学习率进行多项式衰减。图中power为0.9
sig
学习率进行sigmod函数衰减
gamma= 0.05
step=200
根据电脑配置，主要是显卡能力调整参数
修改每一个[yolo]前面四行的filters和后面三行的classes，注意需要修改3处
[convolutional] size=1 stride=1 pad=1 filters=255 # 改成3*(classes + 5) activation=linear [yolo] mask = 6,7,8 anchors = 10,13, 16,30, 33,23, 30,61, 62,45, 59,119, 116,90, 156,198, 373,326 classes=80 # 修改为实际需要识别的类数量 num=9 jitter=.3 ignore_thresh = .7 truth_thresh = 1 random=1
修改voc.data为
classes= 8 # 实际需要识别的类 train = /home/ubuntu/darknet/scripts/2007_train.txt # 指向刚刚生成的文件2007_train.txt valid = /home/ubuntu/darknet/scripts/2007_val.txt # 指向刚刚生成的文件2007_val.txt names = data/voc.names backup = backup
3.3 examples/
修改detector.c
void validate_detector_flip(char *datacfg, char *cfgfile, char *weightfile, char *outfile)
{
int j;
list *options = read_data_cfg(datacfg);
char *valid_images = option_find_str(options, "valid", "data/train.list");
// char *name_list = option_find_str(options, "names", "data/names.list");
char *name_list = option_find_str(options, "names", "data/voc.names");
char *prefix = option_find_str(options, "results", "results");
char **names = get_labels(name_list);
char *mapf = option_find_str(options, "map", 0);
int *map = 0;
if (mapf) map = read_map(mapf);
有几个函数中需要修改，建议直接搜索
修改darknet.c
float thresh = find_float_arg(argc, argv, "-thresh", .5);
char *filename = (argc > 4) ? argv[4]: 0;
char *outfile = find_char_arg(argc, argv, "-out", 0);
int fullscreen = find_arg(argc, argv, "-fullscreen");
// test_detector("cfg/coco.data", argv[2], argv[3], filename, thresh, .5, outfile, fullscreen);
test_detector("cfg/voc.data", argv[2], argv[3], filename, thresh, .5, outfile, fullscreen);
} else if (0 == strcmp(argv[1], "cifar")){
run_cifar(argc, argv);
这里也有几处需要修改
4 训练
执行
./darknet detector train cfg/voc.data cfg/yolov3.cfg
作者：我还在这里
链接：https://www.jianshu.com/p/7736e8d2ee6e
来源：简书
简书著作权归作者所有，任何形式的转载都请联系作者获得授权并注明出处。