视觉感知基本知识

序言

       自动驾驶是目前非常有前景的行业,而视觉感知作为自动驾驶中的“眼睛”,有着非常重要的地位和作用。本着“不积跬步,无以致千里”的态度,记录下一个个相关知识点。一方面用于备忘,另一方面也可以让需要了解相关知识的人一个快速学习的机会。

目录

知识点1:色彩空间  Ycbcr-> RGB

知识点2:光照补偿

知识点3:评分标准

知识点4:特征匹配算法

知识点:感知哈希算法

正文

知识点1:色彩空间  Ycbcr-> RGB

       RGB  带色彩 ,带亮度   
 Y          0.299      0.587       0.114       R
Cb   = -0.1678   -0.3313          0.5  *   G
Cr              0.5   -0.4187   -0.0813       B
View Code

知识点2:光照补偿

  视觉感受的亮度是眼睛入射光强的对数函数

g(x,y) = (Gl-G0)/((Lnn-Lnm)x[ln(f(x,y)-lnm]+G0)

g(x,y) 变换后亮度值

Gl:变换前最大灰度

G0:变换前最小灰度

g(x,y)  = 255x(ln(f(x,y)-b)/(lnE-lnB)      B<=f(x,y) <=E

g(x,y)  = 0                                                   f(x,y)< B

g(x,y)  = 255                                               f(x,y) >E

过亮或过暗区域修正:

Pr(rk) = nk/N   ,   0<=rk<=1,k=0,1,...,L-1

Sk=∑i=0,k(pr(ri))    ,mk=∑i=0,k(ni)

1) sk<5% ,sk+1 >5%,mk>100,f(x,y)靠近灰度值0,令B=f(x,y) ,排序从低到高,取前5%,mk足够,设最低为B

2) sk<95% ,sk+1 >95%,mk>100,f(x,y)靠近灰度值255,令B=f(x,y) ,排序从高到低,取前5%,mk足够,设最低为E

算法流程如下:

IN_Image                          OUT_Image  (针对光线暗)
      |                               /|
     |/                               |
RGB-> YCbCr                        YCbCr  -> RGB
      |                               /|
     |/                               |
直方图均衡化              ---->     自适应非线性转换

 知识点3:评分标准       

        针对多目标跟踪:MTT(Multiple target tracking)   MOT(Multi-object Tracking)

给定一个图像序列,找到序列中运行的物体,对目标进行定位,将不同帧中同一目标一一对应,记录其ID,并给出不同物体的运动轨迹。

        1.MOTA :Multiple Object Tracking Accuracy

        2.IDF1  :ID F1-score

        3.FP

        4.FN

        5.MT    :Mostly tracked target

        6.ML   :Mostly lost   target

        7.IDS   :ID Switch

        8.FM    :Fragmentation

知识点4:特征匹配算法

SIFT

步骤:

1)尺度空间极植检测

2)特征点提取

3)特征方向提取

4)特征点局部特征提取(关键点表示特征)

缺点:实时性差

SURF

优点:实时性好

BRIEF

步骤:

1)通过逻辑运算(异或)获取描述符之间的相似度,提高匹配速度;

2)描述符索引与聚类:索引:编码可快速获取对应关系;聚类:相似度较高描述符聚类。

FAST

设置相应阈值来控制特征点的数量

知识点:感知哈希算法

1)缩小尺寸(8x8)64个像素,去除细节

2)简化色彩,转换成64级灰度值

3)计算平均值

4)比较像素的灰度,与平均值比较,大于为1,小于为0

5)计算哈希值,64位整数为图像的指纹

6)比对图像(汉明距离)

小于5为相似,大于10为不相似

原文地址:https://www.cnblogs.com/jimchen1218/p/11840439.html