回顾信号与图像处理过程，我们可以发现很多媒体格式都是通过变换域的稀疏表示来完成的，这里包括我们所熟知的JPEG和他的继承者JPEG2000。这些标准都借助了变换编码来实现稀疏表示。但是对于sparsity的理解，网上贴出的最多的，看到的大多是这张图：
一般都是看了Stanford 的ML，从正则化角度阐述的。讲的比较笼统。上午翻了Elad的SR材料，稍微整理下。
1、0范数
首先我们观察下对于p范数当p趋近0时的变换：
可以看出当p趋近于0的时候，曲线变成了一个indicator函数。当x=0时为0，其余值均为1，其总和即为非零数之和。0范数为我们理解sparsity提供了一个很好的例子，但在实际工作中并不是一个很好的工具。此时我们更多地是借助usual p-norms和weak p-norms，p属于(0,1]。也就包括上面提到的Stanford ML中的L1正则化。
2、稀疏的直接理解
一般数学表达式：
直接观察其图像，下面四幅分别为p=2，p=1.5，p=1，p=0.7。
这里的绿色类球球为Ax=b中x的值域，Ax=b与其的切点即为方程组的解。直接观察可看书在p>1时，其解中至少包含两个非零元素，而当属于(0,1]的时候，方程组Ax=b的解中有且只有一个非零元素，即为稀疏解。
简单地从表达式理解sparsity是很难的，很难说清楚。直接从图形理解，从我的角度，是最直接有效的方法。