【VALSE讲座】VALSE讲座-Panel议题整理

VALSE 讲座-图像处理笔记

21-05期 底层视觉与图像处理

1. 有没有可能设计一个模型可以适用于各种不同的图像质量恢复问题，比如去噪、去模糊、超分辨、去雨雾、修补等等。

Discuss:

• 针对上述提高的不同的任务，每个问题涉及到的物理、数学模型，还是很不一样的。如果需要设计一个模型去一次性地解决上述问题，那将需要训练大量的不同种类的数据。这样的做法，一定程度上忽略了它本身的一些数学或者物理上的特性，从问题求解角度说，这未必说一个好的方案。而且，这个模型必定对训练样本的规模、训练时长要求是比较高的。
• 从问题的反方向理解，对于多个任务去设计多个模型，这些模型的网络结构可能是相似的。但是针对不同任务的特点充分考虑其物理和数学上的模型特点，通过结合这些特性，可以提高比如在执行效率、可解释性等方面的作用。
• 应当将数学物理的模型跟数据驱动模型结合起来去做优化。
• 设计一个模型解决上述所有问题，理论上是可行的，但其背后更多的是数据驱动，数据规模需要很大，模型本身也会很大，调参难度也较大，且效果难以拔尖。
• 解决一个问题的某些Idea可以被运用到解决另一个问题上。
• 推荐从某个问题的数学物理的模型去切入。
• 从问题的现实意义上来说，设计一个模型去解决上述所有问题是否具有实际的意义。例如去噪和修补问题，是否有必要把这俩问题放在一块处理。

2. 目前还有什么可以在底层图像处理方面提高性能的技术或者技巧？是数据问题还是算法问题？

Discuss:

3. 图像增强后的质量如何评价目前的视觉效果，有参定量效果及无参定量效果，很难做到完全的一致性？

4. 底层视觉和高层视觉之间的连通性的相关研究还不是很多，底层视觉是否一定会促进高层视觉算法不教，的性能，如何保证底层视觉和图像处理可以有效促进高层视觉的性能？

5. 目前很多的图像处理算法速度仍然难以满足实时性处理，有什么技术能大大提升图像处理算法速度的同时保证处理的性能？

21-20期 图像复原研究进展与挑战

1. 在图像复原问题中，成像过程的刻画显得尤为重要，与基于传统的ISP方式的建模方法相比，目前基于数据驱动的ISP建模方法优势和缺点有哪些？

2. 基于深度学习的图像复原方法在现有的标准数据集上取得了较好的效果，然而在处理真实场景或者未知场景中的图像复原问题的时候往往表现的不好，造成这一问题的原因是什么？目前有什么好的解决方法？

3. 目前智能手机及移动成像设备获取的图像和视频的分辨率越来越高，怎样设计速度快且保证具有一定效果的图像视频增强模型？

4. 现在智能手机很多都具有多个摄像头从而带来新的功能，比如华为P30有Dual-view的拍照功能，而具有Lidar/ToF的手机可以拍摄RGBD图像视频，另外智能手机能进行延时摄影。未来智能手机拍摄方面会怎么样？会带来怎样的新挑战？

5. 与图像复原问题相比，目前大多数视频复原与增强算法产生的视频序列大多存在时域不一致性问题（比如闪烁问题），有没有针对这一问题的解决方案？视频复原问题的研究目前面临哪些挑战？

6. 现有的图像视频复原数据集大多基于特定的退化模型合成的方式，目前也出现了一些通过特定设备采集刻画真实退化过程的成对数据，如何看待这些数据集？图像视频复原问题中需要什么样的标准数据集？