文献阅读001

文献题目如下:

[1] 2002 ICIP Face photo recognition using sketch
[2] 2005 CVPR a nonlinear approach for face sketch synthesis and recognition
[3] 2017 Data-driven vs. model-driven Fast face sketch synthesis

本周刚入实验室,粗略地阅读张老师推荐的三篇论文,了解一下研究方向。

  1. 大方向:人脸识别(face recognition)
  2. 小方向:基于素描图像的方法(based on sketch)

背景
以往人脸识别都是基于原始图片(based on photo)识别,但当要识别一个嫌疑犯,而又没有照片时只能用根据目击者描述画出素描画像(sketch)代替。因此需要将拍摄到的原始图片转换为素描图片,再与素描图库对比检索

论文主要内容

[1] 2002 ICIP Face photo recognition using sketch

  1. 提取人脸特征的传统方法(Conventional eigenface method):KLT
  2. 基于素描的方法(Eigensketch transformation)

[2] 2005 CVPR a nonlinear approach for face sketch synthesis and recognition

该论文分为两大工作:转换识别

  1. 转换:该论文是基于LLE方法,用 photo-sketch pair 训练集训练出来的模型(P) 自动生成 pseudo-sketch。
  2. 识别:由于画家画的素描难免有偏差,以及pseudo-sketch会有模糊,因此用KNDA方法。

问题:LLE,linear v.s nonlinear 等知识点还未了解。

[3] 2017 Data-driven vs. model-driven Fast face sketch synthesis

Data-driven:
data-driven 是在模块水平(patch level)进行训练的,模型包括两个:Neighbor Selection Model, Neighbor Fusion Model(如下图)
作者列举了许多data-driven 的方法,说明了其劣势所在:在选择Neighbor Selection Model 时要遍历整个training photo-sketch pairs, 耗时太大。
在这里插入图片描述

问题:patch division是怎么完成的?——partition mask(如下图)

Model driven:
训练:将photo-sketch pairs 分成许多patches,训练出许多Mapping functions.
测试:将photo分成许多patches,用训练出的Mapping functions生成对应的sketch。
在这里插入图片描述

只是初步了解一下方向,具体的原理,公式,算法还没有深入了解。阅读中遇到一些不懂的知识点直接跳过,如rigid regression, LLE, KNDA等等。后面会对每一篇再做进一步的阅读和总结。

原文地址:https://www.cnblogs.com/zzzack/p/9749515.html