2017 Data-driven vs. model-driven Fast face sketch synthesis
相关文献：Heterogeneous image transformation
相关知识：KNN, SFS, SVR, high-frequency information
0.摘要
画像合成的旧方法——data-driven。
本论文提出画像合成的新方法——model-driven。
1.介绍
data-driven：如文献阅读001,002，都是基于该方法。
算法：
1.输入一张新图像 IP
2.从训练集T中的图像P拟合出新图像IP，记学得模型为：I=M(TP)
3.将训练集T中的画像S合成出伪画像IS，IS=M(TS)
4.输出一张合成画像 IS
一般，在第2步中，并不是把训练集中所有图像都利用起来，而是选取最合适的部分来拟合。有用KNN方法的，即从训练集中找出前K个与新图像最像的图像，这里的“像”，可以用几何距离来表示。
特点：计算复杂度与训练集的规模线性相关。
model-driven：
与data-driven不同，该方法不用遍历整个训练集的图像。
为什么不用？model-driven是直接学的一个模型，将 photo—>sketch。如下图：
2.Model-driven face sketch synthesis
如图Fig.2，如何求 fi ？用 ridge regression，目标函数：
sketch patch synthesis:
其他正则化技术：Laplacian regularization and p -Laplacian regularization
本论文用 python 的 scikit-learn package 来实现，λ取10^6。
在 Heterogeneous image transformation 一文中，说明了如果直接用上式来合成sketch，会出现过于光滑和模糊的现象，因为一些信息(hight-frequency information, detail information)会被过滤掉。
Zhang等作者在 Face sketch-photo synthesis based on support vector regression一文中提出用SVR的方法，他们用与合成 initial estimation（初步模型）不同的方法对high-frequency information进行合成，再补偿initial estimation缺失的信息，如下图。
其中，Heterogeneous image transformation 2012是在Face sketch-photo synthesis based on support vector regression 2011的基础上改进，同一个作者。
而本论文采用相同的方法，即对initial estimation, high-frequency information合成的方法都一样。
什么是 hight-frequency information?
在对图像分块的时候，之间会有部分重叠，但是使用KNN方法或者SFS方法加权后会丢失部分high-frequency information。
如何获得hight-frequency information？
给定一张手稿图，每个patch的high-frequency information等于每个像素点的灰度值减去该patch的平均值，差值大的就是high-frequency information。
输入：x，photo每个像素点减去一定范围内的平均值。
输出：y，sketch每个像素点减去一定范围内的平均值，该图片即high-frequency information。
训练得到的模型：f(x)
对于test photo，可以用训练得到的模型f(x)来得到其high-frequecncy information，最后将其fuse to a whole one image
【参考】
Heterogeneous image transformation
这篇文章分为两步：
- 用SFS进行初步的特征提取（改进了KNN的缺陷：K值固定使得有些并不邻近的点也被“强行”算作邻近点，这会使图像特征模糊）。
- 用SVR求出photo到sketch提取high-frequency information的模型，如下图。
Face sketch-photo synthesis based on support vector regression
就是介绍SVR的方法，在Heterogeneous image transformation均有介绍。
3.知识点收获
SVR，high-frequency information，SFS