3DFace基础---光照估计

  1、背景
  在做3D人脸重建,需要对图片做反渲染(从3D模型到2D图片),也就需要用到光照估计。
  3DMM 的方法里,对形状进行PCA分解,的顶点坐标的均值和基;对每个顶点处的颜色(rgb)作正交分解,得到纹理(texture)的均值和基。
  Smodel 代表形状模型,ρmodel 代表纹理模型
  但是3DMM里得到的纹理假定为不包含光照信息,只有(漫)反射(漫反射,albedo)信息的纹理(自己的理解:根据物理知识,物体反射的光由它自己本身的颜色决定,所以反射信息就是这一点处的“本质”颜色
 
2、全局光照(global illumination)估计
  【A Signal-Processing Framework for Inverse Rendering】这篇论文说明了可以用球谐函数估计全局光照做反渲染的可行性,并且证明了使用前面9个球谐函数基(可以看维基【球谐函数】词条)的时候就能达到99%的近似。
  (并不能很好的理解球谐函数,毕竟数学物理渣渣....)
  在使用球谐函数估计人脸3D光照的时候,可以根据【Face Relighting from a Single Image under Arbitrary Unknown Lighting Conditions】这篇论文的指导,找到计算反渲染像素颜色信息的方法。这里说的颜色值,从光照的角度来说,就是光照的强度。
  公式:
  
解释下公式: (u,v) 是指在2维图片下一个顶点的坐标,也可以认为成像素的坐标。I(u,v),即像素值,也就是这点像素的颜色。ρ也就是我们上一个公式里的漫反射情况下的纹理信息。li 是指球谐函数对应的系数。(这里解释下,球谐函数可以认为成一组正交基,可以表示整个空间的光照信息,那么在这组基下的系数 l 即表示在当前场景下的光照组合情况) hi 表示球谐基函数,n 表示的是在该点处的曲面法向量而且是单位法向量。
前9个球谐函数:
  
 
参考文献:
  Lee K C, Ho J, Kriegman D J. Acquiring linear subspaces for face recognition under variable lighting[J]. IEEE Transactions on Pattern Analysis & Machine Intelligence, 2005 (5): 684-698.
  Wang Y, Zhang L, Liu Z, et al. Face relighting from a single image under arbitrary unknown lighting conditions[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence, 2009, 31(11): 1968-1984.
 
 
 
原文地址:https://www.cnblogs.com/xiaochun-zhao/p/9811316.html