25 自动对焦
- CDAF
- PDAF（Phase Difference Autofocus）
- laser assisted AF：激光辅助
laser AF
TOF（time of flight） sensor
VCM/step motor driver
- ringing effect：振动效应。调焦时在最优点两边振荡。
- border control：边缘控制。电机到尽头，碰到头后反弹。到边缘要慢。
- step size control
行程
stepper motor步进电机
CDAF filters and statistics
IIR filter
single AF algorithm
single pass hill climbing
INF
macro
orientation compensation
重力补偿，朝向不同，电机需要的电流不同。
multi-spot
ROI
continue AF
- scene change detection + single autofocus
- scene change detection + direction judgement + peak finding
scene change detection：
- Luma change and FV change
- additional sensor such as Gyro
26 闪光灯
类型:
- LED
- dual LED
- Xenon氙灯
牛顿和光学、色彩科学
棱镜
单色光合成其他颜色的光
LED闪光灯原理
- 三色LED合成白光
- 蓝色LED照到黄色荧光剂生成白光
- UV LED + RGB phosphor
各类型闪光灯的优缺点（表格）
- 氙灯：亮度最高。持续时间最短。单位面积价格最低？
闪光灯的同步方式
guide number = f-number x distance
iso100
- 高速同步
- 慢速同步
- 前帘同步：快门和闪光灯同时打开。可能有运动模糊。
- 后帘同步：抑制运动模糊
实际应用慢速+后帘
闪光灯的基本控制时序
打开关闭
预闪 防红眼（预闪使人瞳孔收缩，拍不到眼底的红） 主闪
光对皮肤有伤害？
为什么主流手机相机不用氙灯？
- 耗电量大
- 体积大，厚度厚
- 需要配合机械快门+LED
- EMC
- 成本高
闪光灯照相的常见问题
- 反光的物体
- flash AE造成的过/欠曝
- flash AF造成的失焦
- flash AWB造成的色偏：例如偏蓝
- 能量不够造成的远景不亮
- 曝光时间太长造成运动模糊
闪光灯的光学指标
- RI（relative illuminance）：中心亮度高
- chromaticity一致性
27 HDR
Zhang Eric
改善动态对比度的技术。提升最亮和最暗画面的对比度。看到更多细节。
直观图像感官
- 空间分辨率
- 时间分辨率：帧率、曝光时间
- 灰度分辨率
- 动态范围
- 色度范围
人眼对对比度的敏感
暗光需要更大对比度？
真正的HDR技术
获得HDR影像——以HDR方式处理——HDR方式存储——HDR方式显示
动态范围的数学问题
……
提升sensor的感光能力
多曝光合成
短曝光获取高光处的图像，长曝光获取阴暗处的图像。
后处理
单帧空间域多曝光
交错曝光
其他
- logarithmic sensor：一种数学方法
- local adaption局部适应：仿人眼设计
多重曝光的HDR流程
提取灰度图像——图像配准——灰度融合——图像色彩恢复
图像配准去除人手抖动，重影
最简单的图片融合过程
常见问题
- 鬼影：运动物体
- 曝光时间的选择
- 颜色效果不自然
多分辨率融合
Google 的HDR plus技术
双camera对HDR的提升
展望
28 图像文件格式
- TIFF：医学、遥感。
- DNG
- EXIF：为数码相机发明的。
- JPEG/EXIF
- JPEG
- JIFF
- GIF
- PNG
遵循、被遵循、拓展、由专利发展出
图像文件解析器
29 Encoder编码器
编码的发展历史
MPEG H.262
压缩编码的基本概念
- 有损和无损压缩
- 帧内和帧间压缩
- 对称和不对称编码
GOP
Encode/Decode Sequence：I P B B P B B
Display Sequence：I B B P B B P
不一定有B帧。
DCT in Image Coding
DCT离散余弦变换
JPEG压缩
Zigzag扫面
DPCM （Differential PCM）
Run-Length Coding
Huffman Coding
Motion prediction
运动估计
H.261运动估计
H.263运动补偿
H.264运动比较
Encoder2
H.264 Variable Block Sizes
Motion Scale Example
H.264 VBS Example
H.264画质
- BP
- EP
- MP
- HP
Hybrid MC-DCT Encoder
30 图像防抖
问题
- 运动模糊
- 果冻效应？
- 抖动
防抖分类
- 光学防抖：镜头移动，sensor移动，两者一起移动
- 电子防抖
- 视频后处理过滤器
- 外置的防抖支架
- 防抖CCD：比较少商用？
人眼防抖
云台、支架
单反中的OIS
手机中的OIS模组
卷帘门效应
Motion Blur模型
盲目解卷积
PSF的估计
多帧短曝光
视频防抖
防抖的基本流程：
原视视频——运动评估——运动补偿计算——视频补偿——去抖视频
- GMV（global motion vector）：
- CMV（compensating motion vector）：补偿运动矢量
运动矢量分析方法
比较信号相似度的方法
- 绝对平均误差函数
- 互相关函数
- 均方误差函数
- 最大误差最小函数
- 绝对差之和SAD
- 灰度投影法
- 块匹配法
- 特征点匹配法
- 位平面法
- 光流法
- SIFT：尺度不变特征转换，机器人……
局部运动矢量和全局运动矢量
运动和抖动分离
- 滑动平滑滤波器
- 曲线拟合法
- 卡尔曼滤波法
- 高斯核滤波法
- 长特征路径的直接优化法
影响EIS系统的几个原因
- 缺乏特征（Lack of feature，LOF）
- 重复模式
- 低信噪比
- 存在运动物体
- 透视角造成同一物体远近运动量不同
- 光照突然变化，如闪光灯
- 运动模糊
- 大面积阴影
EIS use gyro
- 机械陀螺仪
- 激光陀螺仪
- MEMs陀螺仪
gyro和图像匹配的问题
- 时域
- 大小幅度
防抖效果的评估
31 图像质量评价
什么是图像质量？
两个基本方面：
- 观者感受
- 用以满足客户需求的技术方法和技术
IQ参数：锐度，噪声程度，色彩准确度，等等
Minkowski和Q说明的两层问题
- 直接和与欧式和
- 单调性假设的问题
短板效应
IQ参数的三种类型
- 系统性参数※
- 倾向性参数
- 审美性参数
为什么评价图像质量？
目前成像工业的方法
JND
IQ circle
控制成像系统图像质量的过程
- 客户的观察：客户看到的各种“ness”，
- 客户的倾向：客户打分
- 技术变量：我们调什么
- 物理图像参数：我们测什么
- 视觉算法：从图像中提炼出物理图像参数
- 系统模型：关联物理图像参数与技术变量
- IQ模型：经验或者统计的方法给IQ打分
各种图像质量组织研究视觉算法
客观评价
主观评价
Tone Reproduction
ISO 14524：Methods for Measuring OECF
色彩重建的准确性
ISO 17321-1
24色卡
图像的细节重建
MTF，modulation transfer function
SFR，Spatial Frequency Response
ESF，Edge Profile
LSF，Edge Profile做微分
SFR是LSF的傅里叶变换
SFR跟MTF等价，表示系统从低频到高频的解析能力
ISO 12233
其他方法
西门子星图
图像噪声
定义：图像中，不想要的像素间的变化
噪声评价方法
rms noise level
均方根
噪声模型
噪声的空间特性
三种类型空间噪声的ACF
NPS噪声模型……
NPS计算MTF——枯叶图，评价去噪和锐化算法
IQ要从理论根源学起，不能速成。
32 画质调优
IQ tuning：把成像系统的性能最优化
- 系统来自光学、半导体、机械结构的缺陷与局限
- 光学、半导体、机械结构生产的不一致性
- ISP处理的能力
- 3A处理的能力
- 后处理软硬件的能力
- 要达到的客观标准
- 要达到的主观标准
理论准备：
- 光学
- sensor
- 颜色科学
- 信号处理
- camera硬件知识
- camera软件知识
- image quality理论基础
工具准备：
- 显示器：Eizo
- IQ分析软件：IE Analyzer， imatest， DXO
- 图像比较工具：fasttone， beyond compare
- 图像处理工具：Photoshop， Gimp， Corel Paintshop
- 图像计算工具：matlab
- 图像仿真工具
客观调试 主观调试
可重复性：
- 光源
- 电源
- 地面
- 图卡
- ……
有代表性：
- HDR
- 虚化
- 抖动
- 运动
- ……
光源：
色温1800K-12000K 照度0.1——2000lux
客观lab准备：
- resolution measurement
- sharpness
- texture loss
- color reproduction
- shading
- noise
- exposure
- distortion
- color aberration
- focus
- lag
- stablization
- flash
- human model
- motion
- ……
主观lab准备：
- 黑场
- 黑处细节
- 白场
- 亮处细节
- 反光物
- 色卡
- 18%灰墙
- 饱和色
- 彩色物体
- 高、中、低频纹理
- 文字
- human model
- ……
主客观融合 光源
文档准备：
- camera spec
- lens spec
- sensor spec
- actuator spec：VCM……
- IR spec
- 模组报告，TS，TE……
- ISP spec：前处理模块、后处理模块
- 软件spec：3A
- 客观标准
- 主观标准：参考机
- 项目schedule
characterization（特征化）：
- black level
- shading
- noise profile
- white balance
- CCM
- Chroma Aberration
- Distortion
- static defect pixel
- FPN
- linearization
- Gamma
- ……
golden sample
一些固定参数。
1~3days
lab tuning：
- exposure
- focus
- defect pixel correction
- WB
- color
- demosaic
- sharpening
- RAW noise reduction
- Luma noise reduction
- color noise reduction
- gamma & contrast
- face
- AF
2~4weeks
field tuning：
根据国际电联的标准ITU P910， ITU-R BT500-11，24个经典场景
1-3months
- 暖光源（含人）
- 白天雪景
- 大片绿色（多云天）
- 强日光
- 办公室暖白
- 办公室暖白混合阴天白光
- 阴天
- 酒吧暖光源
- 蓝晴天
- 暖白混晴天日光
- 超市暖白
- 有云晴天
- 大阴天
- 蓝天晴天带水面反射
- 日出/落
- 蓝天绿地 有云晴天
- 阴天有云
- 大晴天 木头和人
- 部分蓝天晴天（绿 黄 灰物体）
- 大晴天人像
- 大晴天（绿地+人）
- 晴天的阴影
- 晴天的阴暗处（含白色物体）
- 火堆旁人像
fine tuning & corner case
end user test
33 双摄像头
15、16年出现双摄
主要功能：
- 景深计算
- 图像增强
- 模拟光学zoom
双摄的组装方式比较
如何判断调整的角度
匹配算法步骤：
- 匹配代价计算
- 代价聚合
- 视差计算/优化
- 视差调整
34 成像系统仿真
不同类型的开发需要不同的仿真
matlab模型， C/C++，RTL，系统级仿真
DNG raw Photoshop
camera产品的典型开发过程
timeline
- 模组开发：TS——ES1——ES2——MP1——MP
- ISP开发：alpha——beta——CR——FR
- camera开发
在产品做出来之前，就开始仿真。
MATLAB算法
很多华人都在做图像处理，上手容易，不需要很多设备，只要有可输出RAW/DNG的手机，电脑就够了。
习题：做一个自动白平衡的算法，grey world算法
35 结构光相机概述
1.结构光应用现状、前景和难点
非手机行业产品：
- Kinect V1
- realsense
- 图漾科技
- 小觅
- 奥比中光
- 华捷艾米
2.现行结构光方案对比
- 方式：Active stereo……
- 方案厂家
- 模组厂家
- 整机厂家
3.结构光涉及的核心技术
4.结构光算法和标定
5.结构光和TOF、双目视角等对比
36 TOF camera 概述
1.TOF应用现状、前景和难点
门禁、扫地机器人、无人机、
手机辅助对焦、前置接近传感器
2.现行TOF方案对比
- 方案厂家
- 模组厂家
- 量产厂家
3.TOF camera的难点
- 温漂补偿，容易收到温度的影响
- 对时钟要求很高
- 标定：offset、crosstalk、distortion、shading
- 组装工艺
- 调制波校正
4.影响TOF测距精度的因素
- 静态误差
- 边缘叠加误差
- 动态误差：多次反射误差、材质误差、颜色误差、运动模糊误差
5.TOF和结构光优劣比较