目标跟踪算法包括单目标跟踪和多目标跟踪，单目标跟踪在每张图片中只跟踪一个目标。目前单目标跟踪的主要方法分为两大类，基于相关滤波(correlation filter)的跟踪算法, 如CSK， KCF, DCF, SRDCF等；基于深度学习的跟踪算法，如SiamFC, SiamRPN, SiamRPN++等。相比之下，相关滤波的速度更快，深度学习的准确性更高。
跟踪算法综述：https://www.zhihu.com/question/26493945， https://zhuanlan.zhihu.com/p/26415984
跟踪相关算法如下：
这里主要记录下对SIamRPN跟踪算法的学习过程，SiamRPN是商汤在2018年的论文High Performance Visual Tracking with Siamese Region Proposal Network中提出，随后在其基础上商汤又发展出DaSiamRPN， SiamRPN++, SiamMask等算法，公开代码地址https://github.com/STVIR/pysot。
对于SiamRPN的理解，从网络结构，anchor设置，损失函数，跟踪流程四个方面简单介绍下。
1. SiamRPN网络结构
SiamRPN的网络结构如下图所示，主要包括Siamese Network和Region Proposal Network(RPN)两部分，Siamese Network用来提取图片特征，RPN用来预测目标的位置和置信度。
SiamRPN详细的网络结构如下，Siamese Network采用的是Alexnet特征提取网络，训练时整个网络的计算流程为：
1. 第一帧图片中截取尺寸为(127, 127, 3)的Template Image，下一帧图片中截取的尺寸为(255, 255, 3)的Search Image，将Template和Search分别送入alexnet提取特征
2. Teamplate通过Alexnet提取特征后尺寸为(1, 256, 6, 6), Search通过Alexnet提取特征后尺寸为(1, 256, 22, 22）
3. 尺寸为(1, 256, 6, 6)的特征和尺寸为(1, 256, 22, 22)的特征，送入RPN网络的class分支，输出尺寸为(1, 10, 17, 17)的类别预测结果，其中10表示5个anchor，每个anchor属于背景和目标的类别的概率
4. 尺寸为(1, 256, 6, 6)的特征和尺寸为(1, 256, 22, 22)的特征，送入RPN网络的box分支，输出尺寸为(1, 20, 17, 17)的位置回归结果，其中20表示5个anchor，每个anchor的[x, y, w, h]偏移量
其中有两点值得注意下：
Siamese Network: Template Image和Search Image输入的是同一个Alexnet网络进行特征提取(即siamese network)，所以两个目标越相似，得到的特征也越相似；
Depthwise Convolution: RPN的两个分支中将template的特征和search的特征进行了depthwise convolution，即在每个channel上分别进行卷积，卷积响应值越高的位置表示特征越相似(在每个channel上，template的特征图(4x4)作为卷积核，在search的特征图(20x20)上进行卷积)
2. SiamRPN的anchor设置
SiamRPN的RPN网络中，在每个位置设置了5个anchor，5个anchor的宽高比分别为[3, 2, 1, 1/2, 1/3]，由于最后网络的输出特征图尺寸为17*17，则共设置了1445(17x17x5)个anchor，如下图所示。需要注意的是，这些anchor的中心点对应search image中的位置并不是整个search image，只是search image中心128x128的区域，这是由于两帧图片时间间隔短，目标中心点移动后落在search image边界区域的概率较小。
和目标检测一样，SiamRPN网络在训练时，为了平衡正负样本的比例，会根据anchor和gt_box的IOU挑选64个样本给RPN网络学习 ，其挑选规则如下：
1.计算所有anchor和gt_box的IOU, IOU>0.6的为正样本，IOU<0.3的为负样本 2.随机挑选出64个样本，正样本16个，负样本48。(若正样本不够16个时，有多少取多少，若正样本超过16个，随机选取16个正样本，多余的标注为忽略样本；负样本一般会多余48个，随机选取48个负样本，多余的标注为忽略样本)
生成anchor的代码如下所示：
import math from collections import namedtuple import numpy as np Corner = namedtuple('Corner', 'x1 y1 x2 y2') BBox = Corner Center = namedtuple('Center', 'x y w h') def corner2center(corner): """ convert (x1, y1, x2, y2) to (cx, cy, w, h) Parameters ---------- conrner: list or np.ndarray Corner lefttop and rightdown location Return: Center location weight and height """ if isinstance(corner, Corner): x_min, y_min, x_max, y_max = corner return Center((x_min + x_max) * 0.5, (y_min + y_max) * 0.5, (x_max - x_min), (y_max - y_min)) else: x_min, y_min, x_max, y_max = corner[0], corner[1], corner[2], corner[3] center_x = (x_min + x_max) * 0.5 center_y = (y_min + y_max) * 0.5 bbox_w = x_max - x_min bbox_h = y_max - y_min return center_x, center_y, bbox_w, bbox_h def center2corner(center): """ convert (cx, cy, w, h) to (x1, y1, x2, y2) Parameters ---------- center: list or np.ndarray center location, weight and height Return: Corner lefttop and rightdown location """ if isinstance(center, Center): center_x, center_y, bbox_w, bbox_h = center return Corner(center_x - bbox_w * 0.5, center_y - bbox_h * 0.5, center_x + bbox_w * 0.5, center_y + bbox_h * 0.5) else: center_x, center_y, bbox_w, bbox_h = center[0], center[1], center[2], center[3] x_min = center_x - bbox_w * 0.5 y_min = center_y - bbox_h * 0.5 x_max = center_x + bbox_w * 0.5 y_max = center_y + bbox_h * 0.5 return x_min, y_min, x_max, y_max class Anchors: """This generate anchors. Parameters ---------- stride : int Anchor stride ratios : tuple Anchor ratios scales : tuple Anchor scales size : int anchor size """ def __init__(self, stride, ratios, scales, image_center=0, size=0): self.stride = stride self.ratios = ratios self.scales = scales self.image_center = image_center self.size = size self.anchor_num = len(self.scales) * len(self.ratios) self.anchors = None self.generate_anchors() def generate_anchors(self): """generate anchors based on predefined configuration""" self.anchors = np.zeros((self.anchor_num, 4), dtype=np.float32) size = self.stride * self.stride count = 0 for r in self.ratios: ws = int(math.sqrt(size*1. / r)) hs = int(ws * r) for s in self.scales: w = ws * s h = hs * s self.anchors[count][:] = [-w*0.5, -h*0.5, w*0.5, h*0.5][:] count += 1 def generate_all_anchors(self, im_c, size): """ generate all anchors Parameters ---------- im_c: int image center size: image size """ if self.image_center == im_c and self.size == size: return False self.image_center = im_c self.size = size a0x = im_c - size // 2 * self.stride ori = np.array([a0x] * 4, dtype=np.float32) zero_anchors = self.anchors + ori x1 = zero_anchors[:, 0] y1 = zero_anchors[:, 1] x2 = zero_anchors[:, 2] y2 = zero_anchors[:, 3] x1, y1, x2, y2 = map(lambda x: x.reshape(self.anchor_num, 1, 1), [x1, y1, x2, y2]) cx, cy, w, h = corner2center([x1, y1, x2, y2]) disp_x = np.arange(0, size).reshape(1, 1, -1) * self.stride disp_y = np.arange(0, size).reshape(1, -1, 1) * self.stride cx = cx + disp_x cy = cy + disp_y # broadcast zero = np.zeros((self.anchor_num, size, size), dtype=np.float32) cx, cy, w, h = map(lambda x: x + zero, [cx, cy, w, h]) x1, y1, x2, y2 = center2corner([cx, cy, w, h]) self.all_anchors = (np.stack([x1, y1, x2, y2]).astype(np.float32), np.stack([cx, cy, w, h]).astype(np.float32)) return True if __name__ == "__main__": train_search_size = 255 anchor_stride = 8 anchor_scales = [8] anchor_ratios = (0.33, 0.5, 1, 2, 3) train_base_size = 0 train_output_size = 17 anchors = Anchors(anchor_stride, anchor_ratios, anchor_scales) print(anchors.anchors) anchors.generate_all_anchors(im_c=train_search_size // 2, size=train_output_size) print(anchors.all_anchors[0].shape) print(anchors.all_anchors[0]) print(anchors.all_anchors[1].shape) print(anchors.all_anchors[1]) d = anchors.all_anchors[0].transpose((2, 3, 1, 0)) print(d) import cv2 mask = np.ones((255, 255, 3), dtype=np.uint8)*8 for i in range(17): for j in range(17): for k in range(5): box = d[i, j, k, :] # print(box) cv2.rectangle(mask, (box[0], box[1]), (box[2], box[3]), (0, 255, 0), 2) cv2.imshow("img", mask) cv2.waitKey(0) cv2.destroyAllWindows() # cv2.imshow("img", mask) # cv2.waitKey(0) # cv2.destroyAllWindows()
3.损失函数
和目标检测一样，SiamRPN的loss函数包括分类损失cls_losses和坐标损失box_losses，cls_losses采用的交叉熵损失函数，box_losses采用的是smooth_L1损失函数。
4.跟踪流程
训练完成后保存网络参数，在跟踪时使用。整个跟踪过程看代码比较好理解，跟踪流程简要介绍如下：
1.从第一帧图片中，以跟踪目标的中心点截取127*127的区域，作为template 2.在随后的图片中，以上一帧跟踪目标的中心点截取255*255的区域，作为search 3.将template，search送入siamrpn网络预测出目标的box和score 4.对score进行window penalty，即采用窗函数(汉宁窗，余弦窗等)对距离中心点较远的边缘区域分数进行惩罚。 5.取分数最高的box中心点作为新的中心点，上一帧目标的宽高和box的宽高进行平滑加权作为新的宽高 6.采用新的中心点和宽高作为当前帧的box
参考：https://www.cnblogs.com/shyern/p/10669221.html