它与K-mean算法原理上是类似的；
K-mean 算法：
（之前写过：http://www.cnblogs.com/yinheyi/p/6132362.html）
对于初始化的类别中心，可以看作初化的字典（每一列为一个类别中心）； 而每一样本的表示可以用一个稀疏向量表示（此向量只有对应的类别为1，其余为0）
K-svd算法:
http://blog.csdn.net/garrison2012/article/details/48135619
http://blog.csdn.net/abcjennifer/article/details/8693342
http://blog.csdn.net/abcjennifer/article/details/8693342
K-SVD是一种经典的字典训练算法，依据误差最小原则，对误差项进行SVD分解，选择使误差最小的分解项作为更新的字典原子和对应的原子系数，经过不断的迭代从而得到优化的解。
具体可以看看参考文献；
总结一句话：当更新字典中的一个原子时，把该原子对误差的贡献清零，然后对剩余的误差矩阵进行SVD分解（原因是SVD分解可以把最影响该矩阵的向量找出来，可以说成参量沿主轴的分布， 与主成分分析的原理差不多）；
对于k-SVD算法，里面还有一些小细节注意，直接看参考文献吧；
这里有OMP与K-SVD的工具箱；
http://www.cs.technion.ac.il/~ronrubin/software.html
很好很好的，帮助文档也很好，很详细；